自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(9)
  • 资源 (2)
  • 收藏
  • 关注

原创 spark thriftserver

1.hive mr 太慢了,基于次 适配 spark-sql的功能 ,于是乎,想通过spar启动thriftserver来解决问题1:17/12/29 16:28:59 WARN thrift.ThriftCLIService: Error opening session:java.lang.RuntimeException: Could not load shims in class org.a

2017-12-29 17:16:14 1991

原创 mysql Specified key was too long; max key length is 767 bytes

mysql建表错误 cursor.execute(statement, parameters) File "/home/wifi/supersetpy35/lib/python3.5/site-packages/MySQLdb/cursors.py", line 250, in execute self.errorhandler(self, exc, value) File "/

2017-12-28 14:03:44 26182

原创 hive + tez

安装配置1.下载:wget http://mirrors.hust.edu.cn/apache/tez/0.8.5/apache-tez-0.8.5-bin.tar.gztar -zxf apache-tez-0.8.5-bin.tar.gzcd apache-tez-0.8.5-bin/confvim tez-site.xml增加一下配置<configuration><property

2017-12-27 15:32:22 1418

原创 linux 僵尸进程

产生背景 买的云主机,装的docker,docker启动一段时间后,同事反映不能写入了,结果发现,根路径100% ,新手原因,他启动的时候没有映射本地路径,docker默认存储位置是/var/lib/docker 下,在镜像中写入的时候导致根目录沾满,于是让他听掉对应的进程,发现已经停不了了,无赖之下直接停止了docker 服务,发现有个镜像文件已无法识别。 再次启动systemctl star

2017-12-13 15:52:51 1084

原创 docker 中文乱码、时区问题

1.在进入容器时设置,发现进入之后设置并不生效docker exec -it f83573b2a54b env LANG=C.UTF-8 /bin/bash2.永久性生效Ubuntu操作系统 Dockerfile文件添加以下内容:set china time zone(方法一)ENV TIME_ZONE Asia/Shanghai RUN apt-get install tzdata RUN

2017-12-13 13:47:16 1128

原创 tensorflow 学习 demo(-)

#!/usr/bin/env pythonimport tensorflow as tf#numpy 是一个科学计算工具包,这里通过numpy工具包生成模拟数据集from numpy.random import RandomState#定义数据batch的大小batch_size=8#定义神经网络参数w1= tf.Variable(tf.random_normal(([2,3] ),stdd

2017-12-07 12:28:13 538

原创 hadoop 源码编译2.7.4

1。下载源码 查看BUILDING.txt,依据说明要求 进行编译yum -y install svn ncurses-devel gcc*yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-develwget https://sourceforge.net/projects/findbugs/fi

2017-12-04 18:15:56 238

原创 hadoop笔记

1.yarn 框架以及状态机编程 2.hdfs 的租约 3.DataXceiver 4.RPC 通信机制 5.FsNameSystem 数据结构http://blog.csdn.net/luyee2010/article/category/1285621 http://blog.csdn.net/lipeng_bigdata/article/category/6049177

2017-12-04 17:32:56 141

原创 hadoop 数据存储格式

一般而言,存储格式分为列式存储和行存储,对于hadoop来时,列式存储有parquet,rcfile,orcfile等,行存储有SequenceFile,MapFile,Avro Datafile等hive中的使用 1.orc create table test_orc( ... ) PARTITIONED BY (day int ) STORED AS ORC LOCATION '

2017-12-04 13:36:08 3050

flink源码阅读思维导图xmind

描述了flink源码框架。使用案例,常用函数,api等等,适合初学者了解和学习,反压,函数定义等等,欢迎下载讨论

2020-11-20

细粒度jvm学习xmind

思维导图 主要包括:jvm学习笔记,包含示例,JIT,类加载机制,垃圾回收机制等等,站在全局的角度思考问题

2020-11-20

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除