Alongpo-CSDN博客

原创 python 日志排序

需求：对于：sss.log,sss.log.1,sss.log.2,sss.log.3…sss.log.10这种滚动的日志需要按照日志的生成的顺序进行读取的时候，需要对这些日志进行一个排序，然后依照sss.log.10…sss.log.3,sss.log.2,sss.log.1,sss.log的顺序进行分别的读取，因为按照log4j的日志滚动规则，数字越大的，证明日志的生成时间约早。python代码：def get_orders_file(file_names): file_names.s

2020-05-21 11:23:54 818

原创统计目录中所有文件的大小

统计目录中所有文件的大小有时我们需要在服务器上看到某些文件的或者是文件夹所包含文件的大小的统计，好对应的删除或者是报警，可以用下面的命令在要统计的目录中执行。for i in `ls`;do du -sh $i;done...

2020-05-14 17:12:07 798

原创（三）常用命令以及查询的模板

1.sql带有时间的模式：select count(*) from "behavior-h5sdk" where "__time" BETWEEN TIMESTAMP '2019-01-30 00:00:00' AND TIMESTAMP '2019-01-30 23:59:59' ##所有的时间相关的查询的列都是用"__time"这个字段时间格式的函数：select DATE_TRU...

2019-04-27 18:07:29 318

原创（二）Druid细节问题

我安装的druid的版本是 imply-2.8.61.测试数据上传，测试查询数据的json格式都是在一台机器中操作的：/data/upload数据上传（如果上传的数据在hdfs中，不存在机器的问题，如果是在机器本地的文件进行上传，只能在flume-01机器和druid-01机器进行上传，因为只有这些机器是数据节点）2。常用的网页的访问界面地址：http://10.142.168.88:8...

2019-04-27 17:50:50 457

原创（一）Druid删除数据

删除一共有两种方式，一种是手动,一种是配置数据的保留规则。我的安装druid的data角色的节点的hostname为：flume-01进入 flume-01的节点进行删除，因为有现成的deletion-kill.json，只需要改下日期就好了进入 flume-01节点的 /data/upload，这个目录中我保存了druid的一些常用的脚本，例如：上传数据（各种格式的上传），查询数据，删除数...

2019-04-27 17:43:17 5017

原创（三）superset 集成 presto

前面的文章：（一）Superset安装（二）presto安装并集成hivesuperset可以集成的数据源搭建presto的可以从前面的两篇文章去看，superset配置presto的数据源流程进入superset的操作页面OnlineHive为这个presto连接的名字，随便起presto://hive@prestoMaster:18082/hive/test_bi ：这个是...

2019-04-26 17:57:25 3175

原创（二）presto安装并集成hive

目的是实现superset前端数据展示，presto作为后台查询引擎，查询hive中数据前面的文章：（一）Superset安装 https://blog.csdn.net/Alongpo/article/details/89316827安装presto:...

2019-04-26 17:17:58 3087

原创（一）Superset安装

我安装的superset的版本为：2.8.1安装步骤：安装anaconda直接在anaconda软件目录下使用 bash Anaconda3-4.4.0-Linux-x86_64.sh 安装。安装过程中需要输入‘y’，使得python环境变量被添加到系统中，接下来还需要配置conda的环境变量。只需要在具体的系统环境变量中添加如下内容即可，具体路径根据实际情况调整。export C...

2019-04-15 17:36:46 1696 1

原创 cdh集成livy

yum install gitgit clone https://github.com/alexjbush/livy_zeppelin_cdh_csd_parcels.gityum install -y unzip zip进入下载的parcels的文件：cd /data/bigdata/livy_zeppelin_cdh_csd_parcelssh build.sh parcelsh ...

2019-04-11 16:46:33 1903

原创（四）superset权限管控

权限中分为（用户，角色）一个用户下可以有多种角色，多个角色的权限可以决定这个用户的所有权限。背景如下：hive的数据，presto集成hive,当做加速版查询引擎，superset作为展示界面需求如下：superset开个账户，只有某几张表的查询权限（select），没有DML的权限（没有create,update,delete的权限)，用户只有查询界面SQL Lab的访问权限，没有其他界面...

2019-04-11 14:58:45 8042 1

原创 livy 集成cdh中编译parcel包出现问题解决

问题：ERROR] Failed to execute goal on project cloudera-manager-schema: Could not resolve dependencies for project com.cloudera.cmf.schema:cloudera-manager-schema:jar:5.12.0: Failure to find commons-cli...

2019-04-03 19:35:04 1038

原创 superset config https

1.superset版本为2.8.1安装后用http访问都可以，启动脚本为：gunicorn -w 4 --timeout 100 -b ip:port --limit-request-line 0 --limit-request-field_size 0 --forwarded-allow-ips="" superset:app，启动后也能正常的访问。但是当用inframe把superset...

2019-02-22 17:08:59 2261

原创 superset访问charts出现问题

某天用superset集成druid想看看界面的charts的时候，出现了这个：Getting 500 - Internal Server Error every time I click on “Charts” menu，在网上搜了下解决方式，还是在git上找到了解决的方式。0.这个是superset的一个bug，但是已经修复，只是还没有发版而已。https://github.com/apa...

2019-02-22 16:42:47 1215

原创 Druid-imply常用服务的命令

我的imply的安装的路径是在 /usr/local/bigdata/imply-2.8.6一.日志的路径rm -rf /usr/local/bigdata/imply-2.8.6/varmore /usr/local/bigdata/imply-2.8.6/var/sv/coordinator/currentmore /usr/local/bigdata/imply-2.8.6/var/...

2019-01-31 15:19:23 1588

原创 Presto（4）presto客户端查询保存成文件

因为没有把前面的整理出来，所以就先把后边presto要写的知识点写一下。对于想实现类似于hive -e 或者是hive -f 的功能，之后重定向查询的文件中这种功能，presto当然也提供了。可以想象presto为快速版的hive，对于想要快速的出数据非常有效（当然对于大数据表的join支持不是很好，但也反应了内存的问题，如果机器数量足够多，各种join都不是问题）2.实现：需要安装pre...

2019-01-17 11:34:12 5210

原创 idea的输出日志位置*

发现用idea的 help - show log in explore 没有用，只能到这个目录中去找日志C:\Users\Administrator.IdeaIC2018.2\system\log

2019-01-05 15:12:06 16903

原创 hadoop2.x安装（准备工具）

每次换电脑的时候都要把hadoop的环境重新的搭建一遍，每次配置的时间不是很长，但是准备的时间浪费很多，都是一些常用的工具软件还有对应的插件，镜像什么的。所以这次在博客上总结一下。算是一种复习，也算是为刚接触hadoop的同学一个方便的思路。下面我将分为几部分来描述搭建hadoop2.x的所有的流程。这部分是环境的准备工作。（面向的是windows的用户，采用虚拟机的方式来搭建hadoop的环境，并

2017-04-13 20:08:28 620

原创判断input的radio单选框哪个被选中

普通表<input id="isNormal" name="isMiddle" type="radio" value="1" checked="checked">关联表<input id="notNormal" name="isMiddle" type="radio" value="0">用jquery的判断写法var is_Middle;$('input:radio').each(functi

2017-02-28 10:22:16 6596

原创安装hadoop2.x出现的问题

安装完hadoop,格式化之后启动hdfs,datanode不能启动查看日志： 2017-02-07 14:29:47,741 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting 2017-02-07 14:29:47,758 INFO org.apache.hadoop.ipc.Server: IPC Serv

2017-02-12 17:47:00 851

原创 jdk版本问题（Unsupported major.minor version 52.0）

在开发的时候遇到jdk版本不兼容的时候很闹心，本来东西在自己的电脑，自己的tomcat上都很正常，但是把接口的导成war包发布给实施的时候，就出现了问题，之后实施的这群人真是啥也不懂，所问非所答的一直就强调程序出错，之后找了好久才知道是jdk版本的问题。当遇到这类的错误的时候就是本机编译环境的jdk和服务器上的jdk版本不一致导致的，通常都是本机编译的jdk版本过高，造成服务器不能正常的识别

2017-01-12 17:32:48 6189 1

原创完美卸载Oracle

最近因为要写一个项目的接口，需要远程的连接oracle数据库，刚开始的时候因为我本地只装了MySQL，所以用就连接了本地MySQL，接口大体完事有在tomcat中测试了下，也能跑通，但是后来又要改数据库，所以就想安装一个本地的oracle测试一下，这一安装就是一个下午外带一个晚上啊，所以把这个血泪史分享一下。安装过oracle的同学相信都卸载过oracle（这句话听着挺有毛病，但是正真操作过的人就

2016-12-20 22:57:30 509

原创 JS中常见的字符串拼接处理

最近动态的编写界面的时候总是需要不定时的用到js,而字符串的拼接还有在jsp文件获取后台的数据变量是个使用的麻烦，我把我碰到的列举一下，希望对以后看到这个问题的人有所帮助1. JS获取java后台在jsp中的变量<% String columnName=(String)request.getAttribute("columnName"); String datas=

2016-11-23 21:48:45 3668

原创 sql语句删除同样记录

对数据库中的数据进行管理不外乎CRUD，但在平常的工作中很少涉及到删除记录的时候，因为数据库中的数据获取代价昂贵。但是最近看面试题的时候总是在数据库的试题部分出现用SQL语句删除相同记录的题目，所以看了一下。创建表 1. 数据库 MySQL 2. 表结构 create table one( id varchar(32) primary key not n

2016-08-26 22:14:01 1191

原创设计模式（1）单例模式

**刚接触设计模式的时候感觉很高大上的感觉，老师怎么写代码，就怎么写，没有彻底的领会设计模式的深层次的思想。借着复习的时间总结一下。**1. 介绍:设计模式其实就是一种反复使用的，多数人知晓的，经过分类编辑的代码设计经验的总结。它停留在思想和经验的层面上。 2. 目的:提高代码的重用性，使代码更容易理解，可靠性高。 ## 静态关键字static ## 因为首先是设计模式里边最简单也最长

2016-08-20 21:54:00 505