spark thriftserver

1.hive mr 太慢了,基于次 适配 spark-sql的功能 ,于是乎,想通过spar启动thriftserver来解决问题1:17/12/29 16:28:59 WARN thrift.ThriftCLIService: Error opening session: java.lang.R...

2017-12-29 17:16:14

阅读数 1075

评论数 0

mysql Specified key was too long; max key length is 767 bytes

mysql建表错误 cursor.execute(statement, parameters) File "/home/wifi/supersetpy35/lib/python3.5/site-packages/MySQLdb/cursors.py", line 250...

2017-12-28 14:03:44

阅读数 21135

评论数 0

hive + tez

安装配置1.下载:wget http://mirrors.hust.edu.cn/apache/tez/0.8.5/apache-tez-0.8.5-bin.tar.gz tar -zxf apache-tez-0.8.5-bin.tar.gz cd apache-tez-0.8.5-bin/c...

2017-12-27 15:32:22

阅读数 684

评论数 0

linux 僵尸进程

产生背景 买的云主机,装的docker,docker启动一段时间后,同事反映不能写入了,结果发现,根路径100% ,新手原因,他启动的时候没有映射本地路径,docker默认存储位置是/var/lib/docker 下,在镜像中写入的时候导致根目录沾满,于是让他听掉对应的进程,发现已经停不了了,无...

2017-12-13 15:52:51

阅读数 337

评论数 0

docker 中文乱码、时区问题

1.在进入容器时设置,发现进入之后设置并不生效docker exec -it f83573b2a54b env LANG=C.UTF-8 /bin/bash2.永久性生效Ubuntu操作系统 Dockerfile文件添加以下内容:set china time zone(方法一)ENV TIME...

2017-12-13 13:47:16

阅读数 601

评论数 0

tensorflow 学习 demo(-)

#!/usr/bin/env pythonimport tensorflow as tf#numpy 是一个科学计算工具包,这里通过numpy工具包生成模拟数据集 from numpy.random import RandomState#定义数据batch的大小 batch_size=8 #定义...

2017-12-07 12:28:13

阅读数 381

评论数 0

hadoop 源码编译2.7.4

1。下载源码 查看BUILDING.txt,依据说明要求 进行编译yum -y install svn ncurses-devel gcc* yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-de...

2017-12-04 18:15:56

阅读数 102

评论数 0

hadoop笔记

1.yarn 框架以及状态机编程 2.hdfs 的租约 3.DataXceiver 4.RPC 通信机制 5.FsNameSystem 数据结构http://blog.csdn.net/luyee2010/article/category/1285621 http://blog.csdn...

2017-12-04 17:32:56

阅读数 55

评论数 0

hadoop 数据存储格式

一般而言,存储格式分为列式存储和行存储,对于hadoop来时,列式存储有parquet,rcfile,orcfile等,行存储有SequenceFile,MapFile,Avro Datafile等hive中的使用 1.orc create table test_orc( ... ) PA...

2017-12-04 13:36:08

阅读数 1253

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭