2017年09月_九师兄

12月 11月 10月 09月 08月 07月 03月 02月

原创 spark学习-29-源代码解析从start-all.sh脚本开始

1。先总体看一下启动脚本 2。start-all.shif [ -z "${SPARK_HOME}" ]; then export SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)"fi# Load the Spark configuration. "${SPARK_HOME}/sbin/spark-config.sh"# Start Master"$

2017-09-11 21:14:03 1252

原创 linux-01-linux中的一些特殊符号

1。Linux中变量 #,#, @, 0, 1, 2, *,$$,$?的含义$# 是传给脚本的参数个数2. shell中条件判断if中的-z到-d的意思

2017-09-11 10:27:49 956

原创【Hbase】HBase分布式安装

1.简介主要介绍HBase分布式安装，以及遇到的问题2.准备1.要有自己的集群，本次测试是HA集群 hadoop学习历程–笔记心得8-HA环境搭建试验 http://blog.csdn.net/qq_21383435/article/details/76390346 2.集群正常运行 3.下载hbase-1.2.6-bin.tar.gz3.配置1.解压文件[root@bil

2017-09-08 16:35:04 753

原创 hive-02-hive文件存储格式

hive在建表是，可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式例如：> CREATE EXTERNAL TABLE MYTEST(num INT, name STRING) > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' > STORED AS TEXTFILE > LOCATION '/data/test

2017-09-07 17:30:49 866

原创【flume】flume读取web应用某个文件夹下日志到hdfs

简介这里主要是做这个实验遇到的问题以及解决方法问题：java.lang.OutOfMemoryError: GC overhead limit exceeded问题：java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null问题：java.nio.charset.Malformed

2017-09-07 13:14:41 1338

原创 tomcat--because there was insufficient free space available after evicting expired cache entries

警告: Unable to add the resource at......... to the cache because there was insufficient free space available after evicting expired cache entries - consider increasing the maximum size of the cache只要在$C

2017-09-06 17:25:51 9678 4

原创【flume】flume案例集锦

1.一个单点avro例子配置文件 testAvro.conf#test avro sourcesa1.sources=r1a1.channels=c1a1.sinks=k1a1.sources.r1.type = avroa1.sources.r1.channels=c1a1.sources.r1.bind=192.168.1.102a1.sources.r1.port=55555#Us

2017-09-04 15:18:23 959

原创【flume】flume的安装配置理解

1、Flume 的一些核心概念：组件功能 Agent 使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。名称作用 Client 生产数据，运行在一个独立的线程。 Source 从Client收集数据，传递给Channel。 Sink 从Channel收集数据，运行在一个独立线程。 Ch

2017-09-04 11:46:47 782

原创 spark学习-28-Spark数据倾斜问题

推荐：先看看这个spark学习-27-Spark性能调优(2)http://blog.csdn.net/qq_21383435/article/details/77720087目的继基础篇分析了开发调优与资源调优之后，本文作为拓展篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。数据倾斜调优简述有时候，大家可能会遇到大数据开发过程中一个比较棘手的问题，那就是数据倾斜，此时Sp

2017-09-01 15:05:00 928