- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 spark thriftserver
1.hive mr 太慢了，基于次 适配 spark-sql的功能 ，于是乎，想通过spar启动thriftserver来解决问题1：17/12/29 16:28:59 WARN thrift.ThriftCLIService: Error opening session:java.lang.RuntimeException: Could not load shims in class org.a
2017-12-29 17:16:14
1991
原创 mysql Specified key was too long; max key length is 767 bytes
mysql建表错误 cursor.execute(statement, parameters) File "/home/wifi/supersetpy35/lib/python3.5/site-packages/MySQLdb/cursors.py", line 250, in execute self.errorhandler(self, exc, value) File "/
2017-12-28 14:03:44
26183
原创 hive + tez
安装配置1.下载：wget http://mirrors.hust.edu.cn/apache/tez/0.8.5/apache-tez-0.8.5-bin.tar.gztar -zxf apache-tez-0.8.5-bin.tar.gzcd apache-tez-0.8.5-bin/confvim tez-site.xml增加一下配置<configuration><property
2017-12-27 15:32:22
1419
原创 linux 僵尸进程
产生背景 买的云主机，装的docker，docker启动一段时间后，同事反映不能写入了,结果发现，根路径100% ,新手原因，他启动的时候没有映射本地路径，docker默认存储位置是/var/lib/docker 下，在镜像中写入的时候导致根目录沾满，于是让他听掉对应的进程，发现已经停不了了，无赖之下直接停止了docker 服务，发现有个镜像文件已无法识别。 再次启动systemctl star
2017-12-13 15:52:51
1085
原创 docker 中文乱码、时区问题
1.在进入容器时设置，发现进入之后设置并不生效docker exec -it f83573b2a54b env LANG=C.UTF-8 /bin/bash2.永久性生效Ubuntu操作系统 Dockerfile文件添加以下内容：set china time zone（方法一）ENV TIME_ZONE Asia/Shanghai RUN apt-get install tzdata RUN
2017-12-13 13:47:16
1128
原创 tensorflow 学习 demo(-)
#!/usr/bin/env pythonimport tensorflow as tf#numpy 是一个科学计算工具包，这里通过numpy工具包生成模拟数据集from numpy.random import RandomState#定义数据batch的大小batch_size=8#定义神经网络参数w1= tf.Variable(tf.random_normal(([2,3] ),stdd
2017-12-07 12:28:13
538
原创 hadoop 源码编译2.7.4
1。下载源码 查看BUILDING.txt，依据说明要求 进行编译yum -y install svn ncurses-devel gcc*yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-develwget https://sourceforge.net/projects/findbugs/fi
2017-12-04 18:15:56
239
原创 hadoop笔记
1.yarn 框架以及状态机编程 2.hdfs 的租约 3.DataXceiver 4.RPC 通信机制 5.FsNameSystem 数据结构http://blog.csdn.net/luyee2010/article/category/1285621 http://blog.csdn.net/lipeng_bigdata/article/category/6049177
2017-12-04 17:32:56
142
原创 hadoop 数据存储格式
一般而言，存储格式分为列式存储和行存储，对于hadoop来时，列式存储有parquet，rcfile，orcfile等，行存储有SequenceFile,MapFile,Avro Datafile等hive中的使用 1.orc create table test_orc( ... ) PARTITIONED BY (day int ) STORED AS ORC LOCATION '
2017-12-04 13:36:08
3050
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人