- 博客(13)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 [Redis] Python 访问Redis
代码import redisred = redis.Redis(host='192.168.1.8', port=6379, db=3, password='password')def red_conn(key): try: if red.exists(key): red_data = red.get(...
2018-08-30 14:47:52
190
原创 [Git] Gitlab操作远程分支
克隆远程仓库到本地git clone https://github.com/anyone/anyproject.git进入本地仓库项目文件夹cd anyproject查看远程分支git branch -r查看本地分支git branch拉取远程分支branch_name并创建为同名的本地分支branch_namegit fetch origin bra...
2018-08-30 13:58:11
3320
原创 [Hadoop] 使用Spark SQL来访问Hive里面的数据
1. 环境准备1.1 安装Hive1.2 安装Spark1.3 拷贝hive的conf下的hive-site.xml到spark的conf目录下[hadoop@hadoop000 ~]$ cd app/spark[hadoop@hadoop000 spark]$ cp ~/app/hive-1.1.0-cdh5.7.0/conf/hive-site.xml conf/1.4...
2018-08-29 22:42:05
3289
原创 [Hadoop] Spark SQL
Spark SQLSpark SQL is Apache Spark's module for working with structured data.由于Hive太慢而产生的一系列SQL on Hadoop框架：Hive：优点上手快，缺点运行速度太慢 Impala Presto：国内有京东在使用 Shark：把hive跑在spark之上 Drill HAWQ Phoen...
2018-08-29 21:55:24
304
原创 [Hadoop] Zookeeper watcher
1. 基本概念Zookeeper 针对每个节点的操作，都有一个监督站：watcher。zk watcher有两种，一种是zk server端的，另外一种是zk client端的：server端的watcher是一次性的，每个watcher只监听一次（只能监听一个操作），监听完就没了。 client端的API不是一次性的，会一直监听。 2. ZK自带的watcher（一次性...
2018-08-28 22:50:53
244
原创 [Hadoop] Zookeeper伪分布式集群部署
1. Zookeeper集群概念ZK集群：3个节点，一个leader，2个follower 2. 伪分布式集群部署伪分布式：1台机器上面搭建多个ZK节点2.1 解压安装zk解压zookeeper安装包并拷贝成三份，也就是三个zk节点[hadoop@hadoop000 app]$ cp -r zookeeper-3.4.5-cdh5.7.0 zk001[hadoop@...
2018-08-27 23:57:18
516
原创 [Hadoop] Kafka + Spark Streaming 数据零丢失
Kafka：输入Spark Streaming：伪实时流处理 batch批次 1s :> = 0 0，1...100...DB：输出 Redis/ES雪崩效应 Job全部hung在那里 解决一般是手工kill ==> 如何保证数据0丢失流处理程序 bug => 挂了 => 下次再启动，也要保证数据0丢失生产上如何确认spark和kafka的版本...
2018-08-27 16:06:35
810
原创 [Hadoop] Zookeeper 安装部署与简单操作
Zookeeper - 负责分布式系统的协调服务。Hadoop集群中，zk节点的数量 n/2+1个，其中n>1，一般集群中zk的数量为3/5/7/9个。多个zk可以搭在同一个节点上。 1. Zookeeper下载安装我的环境使用的是cdh5.7.0版本的套件，所以zookeeper也选择对应的版本下载。下载[hadoop@hadoop000 software]$ w...
2018-08-23 23:17:23
839
原创 [Hadoop] hadoop-2.6.0-cdh5.7.0 编译报错“maven-shade-plugin”解决
CDH版本hadoop（hadoop-2.6.0-cdh5.7.0）编译报错，使用编译加上-X命令打印出来详细错误信息：[WARNING] Could not transfer metadata org.apache.maven.plugins:maven-shade-plugin/maven-metadata.xml from/to central (https://repo.maven....
2018-08-21 15:16:09
1567
原创 [Hadoop] Hadoop源码编译时“Remote host closed connection during handshake: SSL peer shut down” 错误解决
Hadoop源码编译时经常碰到下面这种错误，“Remote host closed connection during handshake: SSL peer shut down incorrectly”，原因是网络问题，下载jar包的时候与远程仓库断开了连接。[hadoop@cassandra01 hadoop-2.6.0-cdh5.7.0]$ mvn clean package -Pdi...
2018-08-16 15:19:19
2540
原创 [Hadoop] Hive表的file_format参数
Hive官网 1. file_formatHive的建表语句里面有一个STORED AS file_format结合使用的方法，指定hive的存储格式。不仅能节省hive的存储空间，还可以提高执行效率。file_format: : SEQUENCEFILE | TEXTFILE -- (Default, depending on hive.default.file...
2018-08-14 22:19:33
5804
原创 [Linux] CentOS7 给非root用户添加root权限
修改/etc/sudoers配置文件，添加一行[root@VM ~]# vi /etc/sudoers## Allow root to run any commands anywhereroot ALL=(ALL) ALLhadoop ALL=(ALL) NOPASSWD: ALL修改完关闭文件，即时生效。...
2018-08-14 11:21:16
6546
原创 [Hadoop] Hadoop中压缩的使用
1. 常用缩格式压缩格式需要关注两个因素：压缩比（Compression Ratio）： Snappy < LZ4 < LZO < GZIP < BZIP2其中，BZIP2的压缩比大概是30%，Snappy/LZ4/LZO的压缩比大概是50%.解压速度（Compression Speed）： Snappy > LZ4 > LZO > G...
2018-08-13 17:51:45
1683
Cassandra 监控脚本
2021-04-06
.net2.0三层代码自动生成器
2021-03-17
glibc-2.14.1 全套rpm包（CentOS6）
2020-08-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人