自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 python SimpleHTTPServer 使用

python SimpleHTTPServer 本地目录分享 python -m SimpleHTTPServer 10000 获取 wget http://ip:10000/filename

2019-12-19 17:16:00 61 0

原创 java Load conf

1 加载resources下的普通文件 //构造函数中 InPutStream resourceAsStream = this.getClass().getClassLoader().getResourceAsStream("filter.txt") List listFil...

2019-12-05 21:21:27 47 0

原创 ImmutableMap/ImmutableSet/ArrayList

private static Map<String,String> FeaturesMap = ImmutableMap.<String, String>builder() .put("a", "a") .put("b&qu...

2019-12-05 20:42:05 26 0

原创 windos idea bash 错误

idea 下 git bash 错误 bash: /dev/null: Bad address 修复 以管理员身份运行CMD,在CMD下输入 sfc /scannow 进行系统扫描修复

2019-09-10 22:00:54 197 1

原创 ES学习

#创建 索引为blog 类型为article的文档 curl -H 'Content-Type:application/json' -XPUT http://localhost:9200/blog/article/1 -d ' { "id&quo...

2019-08-31 20:41:11 119 0

原创 压力测试工具

1.siege a.安装 $ wget http://download.joedog.org/siege/siege-latest.tar.gz $ tar -xvf siege-latest.tar.gz $ cd siege-4.0.4/ $ ./configure $ make &...

2019-02-20 11:47:32 538 1

原创 git

1.远程与本地冲突 git pull origin error: Your local changes to the following files would be overwritten by merge: recallctr-topology.iml src/...

2019-02-18 19:55:51 51 0

原创 opentsdb加kerberos认证

1.编辑启动脚本 cat start_tsdb.sh OPENTSDB_HOME=/data/opentsdb JVMARGS="${JVMARGS} -Djava.security.auth.login.config=${OPENTSDB_HOME}/jaas.conf -Dzook...

2019-02-15 11:42:37 553 0

原创 flink 学习笔记资料

1.https://blog.csdn.net/yanghua_kobe/article/category/6170573 2.http://www.54tianzhisheng.cn/tags/Flink/ 3.https://blog.csdn.net/liguohuabigdata/arti...

2019-01-02 10:40:39 286 0

原创 hbase 数据迁移

#!/bin/bash #hbase org.apache.hadoop.hbase.mapreduce.Import -Dimport.wal.durability=SKIP_WAL namespace:tablename /user/tjoffline/hbase_export_tablen...

2018-12-27 18:32:29 387 0

原创 hbase Filter使用

背景 昨天同事反馈hbase查询返回无数据了,查了下返回RowTooBigEXcepiton,初步看是value过大导致?以为是有异常数据写入,我们hbase设计上一个列族,然后对应每个时间分片会通过动态列会记录时间分片类的数据指标,每天查询的时候通过rowkey +时间窗户, get返回对应...

2018-11-01 19:03:47 334 0

原创 hbase-2.1.0 源码阅读-2

接着上篇 我们看看在hmaster //hbase 继承自HRegionServer public class HMaster extends HRegionServer implements MasterServices //HRegionServer继承自 HasThread public ...

2018-10-15 19:57:31 222 0

原创 hbase-2.1.0 源码阅读

1.Hmaster启动 用了这么久的hbase,今天开始着手hbase方面的源码阅读 2.1.0版本刚发布不久,是Hbase 2.x系列的第二次版本。旨在提高 HBase 的稳定性和可靠性,主要更新内容如下: 基于 Procedure v2 的复制对等修改 串行复制 最小 Hadoop 版本已更改...

2018-10-11 15:50:59 713 0

原创 hive 使用技巧

1.抽样 从一个表中随机抽样得到一个不重复的数据样本, 随机取样 SELECT * FROM &amp;amp;amp;amp;lt;Table_Name&amp;amp;amp;amp;gt; DISTRIBUTE BY RAND() SORT BY RAND() LIM...

2018-10-10 12:06:45 484 0

原创 hive如何使用json格式的数据

查看当前hive支持的json函数 show functions like &amp;quot;*json*&amp;quot;; OK get_json_object json_tuple Time taken: 0.006 seconds, Fetched: 2 row(s...

2018-09-26 14:12:09 1294 0

原创 Java 快速排序

Java 快速排序 https://arxiv.org/pdf/1511.01138.pdf

2018-09-18 13:17:05 64 0

原创 python 消费 kafka 数据

1.安装python模块 pip install --user kafka-python==1.4.3 如果报错压缩相关的错尝试安装下面的依赖 yum install snappy-devel yum install lz4-devel pip install python-snapp...

2018-09-11 16:53:58 2708 0

原创 mac python 多版本管理

https://youjiexia.github.io/2017/05/01/Installing-Python27-and-Python36-Concurrently/

2018-08-20 17:03:12 603 0

原创 opentsdb+hbase+grafana

hbase 监控 https://blog.bcmeng.com/post/hbase-monitor.html http://www.54tianzhisheng.cn/2017/10/21/HBase-metrics/ grafana 1.表的读写qps hbase metric ...

2018-08-03 15:54:42 623 0

原创 python 操作hive pyhs2

使用kerberos时 import pyhs2 class HiveClient: # 初始化 def __init__(self, db_host, user, password, database, port=10000, authMechanism=&quot;...

2018-07-25 18:17:37 1383 0

原创 kylin 新版 dashbard 功能开启

1.在 kylin.properties 中将一下配置开启 kylin.server.query-metrics2-enabled=true kylin.metrics.reporter-query-enabled=true kylin.metrics.reporter-job-enable...

2018-07-17 20:18:35 846 0

原创 cassandra 笔记

数据迁移 第一次使用cassandra,笔记一下,业务迁移,有两列数据没有迁移到新平台,特此实验,研究一下 查看db DESCRIBE KEYSPACE 查看表 DESCRIBE TABLES 查看表信息 DESCRIBE tablename 创建测试表 CREA...

2018-07-12 17:22:07 409 0

原创 idea中git的使用

1.将项目添加到git中

2018-05-24 10:32:11 4240 0

原创 hive1.2.1 分区表 增加列显示为null 问题

1.问题 hive中增加字段 发现之后之后添加的数据正常,之前数据无法读取 问题修复: 查找hive元数据的分区字段边 SDS MySQL [hive]&amp;amp;gt; SELECT * FROM SDS WHERE location LIKE '%video_t...

2018-04-26 13:54:20 204 0

原创 kylin 开源可视化工具 superset使用

superset + kylin 1.superset 和kylin 连接问题 使用kylinpy pip install kylinpy 在kylin.py 增加解决下拉列表问题 @compact_response() def list_schemas(self): ...

2018-03-31 14:21:32 1535 0

原创 kylin 读写分离构建问题

kylin非常时候做读写分离设计。即需要两个集群,一个做计算,另一个做存储 注意kylin起的环境变量通过hbase加载,因此在配置上需要不通的客户端配置来保障 问题1: java.lang.ClassNotFoundException: org.apache.kylin.engine....

2018-03-03 12:31:51 661 0

原创 spark hive hbase 结合

spark hive hbase 结合 业务需求,需要整合需要读取hive数据导入hbase中,一下是环境配置流程以及中间遇到的问题 1.spark读hive 需要copy hive-site和hdfs-site 等配置文件到项目资源包下 object hivesql { c...

2018-01-18 14:04:41 1034 0

原创 spark thriftserver

1.hive mr 太慢了,基于次 适配 spark-sql的功能 ,于是乎,想通过spar启动thriftserver来解决问题1:17/12/29 16:28:59 WARN thrift.ThriftCLIService: Error opening session: java.lang.R...

2017-12-29 17:16:14 1375 0

原创 mysql Specified key was too long; max key length is 767 bytes

mysql建表错误 cursor.execute(statement, parameters) File "/home/wifi/supersetpy35/lib/python3.5/site-packages/MySQLdb/cursors.py", line 250...

2017-12-28 14:03:44 24005 0

原创 hive + tez

安装配置1.下载:wget http://mirrors.hust.edu.cn/apache/tez/0.8.5/apache-tez-0.8.5-bin.tar.gz tar -zxf apache-tez-0.8.5-bin.tar.gz cd apache-tez-0.8.5-bin/c...

2017-12-27 15:32:22 961 0

原创 linux 僵尸进程

产生背景 买的云主机,装的docker,docker启动一段时间后,同事反映不能写入了,结果发现,根路径100% ,新手原因,他启动的时候没有映射本地路径,docker默认存储位置是/var/lib/docker 下,在镜像中写入的时候导致根目录沾满,于是让他听掉对应的进程,发现已经停不了了,无...

2017-12-13 15:52:51 590 0

原创 docker 中文乱码、时区问题

1.在进入容器时设置,发现进入之后设置并不生效docker exec -it f83573b2a54b env LANG=C.UTF-8 /bin/bash2.永久性生效Ubuntu操作系统 Dockerfile文件添加以下内容:set china time zone(方法一)ENV TIME...

2017-12-13 13:47:16 804 0

原创 tensorflow 学习 demo(-)

#!/usr/bin/env pythonimport tensorflow as tf#numpy 是一个科学计算工具包,这里通过numpy工具包生成模拟数据集 from numpy.random import RandomState#定义数据batch的大小 batch_size=8 #定义...

2017-12-07 12:28:13 413 0

原创 hadoop 源码编译2.7.4

1。下载源码 查看BUILDING.txt,依据说明要求 进行编译yum -y install svn ncurses-devel gcc* yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-de...

2017-12-04 18:15:56 150 0

原创 hadoop笔记

1.yarn 框架以及状态机编程 2.hdfs 的租约 3.DataXceiver 4.RPC 通信机制 5.FsNameSystem 数据结构http://blog.csdn.net/luyee2010/article/category/1285621 http://blog.csdn...

2017-12-04 17:32:56 84 0

原创 hadoop 数据存储格式

一般而言,存储格式分为列式存储和行存储,对于hadoop来时,列式存储有parquet,rcfile,orcfile等,行存储有SequenceFile,MapFile,Avro Datafile等hive中的使用 1.orc create table test_orc( ... ) PA...

2017-12-04 13:36:08 1849 0

原创 hadoop 队列 执行 引擎

1.队列配置1.基于clouderamanager的界面方式2.基于ambari的界面方式 3.修改对应的配置文件 (1)默认的调度器FIFO Hadoop中默认的调度器,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。集群中只有一个任务在运行,只有前一个运行完了后面的jo...

2017-11-30 14:37:30 398 0

原创 大数据上的sql

presto sql 1、命令行 查看帮助 ./presto --server ip:port --catalog hive --schema default --help 2、例子./presto --server ip:port --catalog hive --schema defa...

2017-11-30 11:23:12 320 0

原创 docker coentos7 tensorflow

cpu的设备识别检测 yum install pciutils lspci | grep NVIDIA 00:03.0 3D controller: NVIDIA Corporation Device 1b38 (rev a1) 安装显卡驱动 wget http://developer.downl...

2017-11-27 18:30:58 484 1

原创 数据hive常见问题

1.mysql 导入时问题转码,避免乱码 mysql源有各种字符集#字符转换 CONVERT ( CONVERT (fieldname USING BINARY) USING gbk ) as fieldname #防止换行 trim(replace(replace(replace(`fie...

2017-11-24 19:54:11 207 0

提示
确定要删除当前文章?
取消 删除