- 博客(22)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 spark 集群搭建*（3节点）
spark环境安装一． 下载安装下载地址：http://spark.apache.org/downloads.htmlStandalone模式的spark集群虽然不依赖于yarn，但是数据文件存在hdfs，所以需要hdfs集群启动成功这里下载包也要根据hadoop集群版本启动比如hadoop2.5.2需要下载spark-1.4.0-bin-hadoop2.4.tgz
2017-09-15 13:48:03
524
转载 Linux下编译安装python3
引子原文http://www.cnblogs.com/freeweb/p/5181764.htmlLinux下默认系统自带python2.6的版本，这个版本被系统很多程序所依赖，所以不建议删除，如果使用最新的Python3那么我们知道编译安装源码包和系统默认包之间是没有任何影响的，所以可以安装python3和python2共存 首先去python官网下载python3
2017-08-31 15:16:57
332
原创 kafka搭建
kafka集群搭建文档一.下载解压从官网下载Kafka，下载地址http://kafka.apache.org/downloads.html注意这里最好下载scala2.10版本的kafka，因为scala2.10版本的兼容性比较好和2.11版本差别太大通过命令 tar –zxvf kafka_2.10-0.9.0.1.tgz解压二．配置启动配置config/server.properties配置
2017-08-30 13:28:03
290
原创 flume+kalka 搭建一
flume+kafka搭建一． kafka集群搭建启动详细参见文档《kafka集群搭建文档.docx》安装启动kafka集群二． 下载安装flumeflume官方下载地址：https://flume.apache.org/download.html建议下载最新的1.6.0版本的，因为1.6.0版本的集成了整合kafka的插件包可以直接配置使用下载apache-flume
2017-08-30 13:25:45
863
原创 flume与kafka的整合
flume，kafka 是基于zookeeper的，前安装zookeeper1 搭建kafka集群 详见 注意：1各个节点的broker id 要进行分配 ，不能相同，建议 按顺序排列 0,1,2（我是三个节点） 2 hostname = node1 port=9092 3 zookeeper connect = node1:2181,node2:2181,node3:2
2017-08-30 10:52:39
334
转载 大数据常见错误解决方案（转载）
点击打开链接大数据常见错误解决方案（转载）1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!解决方法：add export SPARK_LOCAL_
2017-08-24 17:40:43
2004
原创 解析浏览器的User agent的工具类
解析http user-agent信息，使用uasparser-0.6.1.jar和jregex-1.2_01.jar两个包可参看/** * 解析浏览器的user agent的工具类，内部就是调用这个uasparser jar文件 * * @author root * */public class UserAgentUtil {static UASparser
2017-06-07 10:50:28
3918
转载 JAVA正则表达式 Pattern和Matcher
java.util.regex是一个用正则表达式所订制的模式来对字符串进行匹配工作的类库包。1.简介： java.util.regex是一个用正则表达式所订制的模式来对字符串进行匹配工作的类库包。 点击打开链接它包括两个类：Pattern和Matcher 。Pattern： 一个Pattern是一个正则表达式经编译后的表现模式。 Matcher： 一个Match
2017-06-01 11:28:49
291
翻译 Hive-JDBCli
可以同步参考使用hive-site.xml自动连接到HiveServer2从Hive 2.2.0（HIVE-14063）开始，BeeLine 增加了使用类路径中存在的hive-site.xml来自动生成基于hive-site.xml中的配置属性的连接url和另外一个用户配置文件。并非所有的url属性都可以从hive-site.xml派生，因此为了使用此功能，用户必须创建一个名为“be
2017-05-31 17:27:37
988
原创 java讲义
数组要求具有相同类型的数据类型，元素类型是唯一的type[] arraryName;type arraryName[];注意：定义数组是不能定义数组长度数组的初始化有两种方式静态初始化：初始化时由程序员显式指定每个元素的初始值，有系统决定数组长度String[] arraryName = new type[]{e1,e2,e3....};
2017-05-17 16:16:37
360
原创 Storm拓扑
/** * mytopology拓扑的描述如下： * 拓扑将使用两个工作进程（Worker） * Spout是id为bule-spout，并行度为2的BlueSpout实例（产生两个执行器和两个任务） * 第一个 Bolt是id为green-bolt，并行度为2，任务数为4， * 使用随机分组方式接收blue-spout所发射元祖的GreenBolt实例（产生2个执行器和4个任务） *
2017-05-09 13:14:14
270
原创 指令总计-1
1 启动mysql service mysqld restart进入mysql mysql -u root -p123456查看列表 show databases;2 启动zookeeper zkServer.sh start 查看状态 zkServer.sh status3 启动集群 start-all.sh 启动hadoop节点 hadoop-dae
2017-03-09 23:31:09
209
原创 hive 优化
要点： 优化时，把 hive sql 当做 map reduce 程序来读，会有意想不到的惊喜。理解 hadoop 的核心能力，是hive 优化的根本。长期观察 hadoop处理数据的过程，有几个显著的特征:1.不怕数据多，就怕数据倾斜。2．对jobs 数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个 jobs，没半小时是
2017-03-09 15:28:29
181
原创 Nginx配置
安装之前准备1、依赖 gcc openssl-devel pcre-devel zlib-devel安装：yum install gcc openssl-devel pcre-devel zlib-devel -y安装Nginx./configure make && make install默认安装目录：/usr/local/nginx
2017-03-09 10:11:37
197
原创 flume配置
http://flume.apache.org/安装1、上传2、解压3、修改conf/flume-env.sh 文件中的JDK目录 注意：JAVA_OPTS 配置 如果我们传输文件过大 报内存溢出时 需要修改这个配置项4、验证安装是否成功 ./flume-ng version5、配置环境变量export FLUME_HOME=/home/apache-
2017-03-09 10:10:28
421
转载 Hadoop -RegionServer详解
HRegionServer是Hbase中最主要的组件，负责table数据的实际读写，管理Region。在分布式集群中，HRegionServer一般跟DataNode在同一个节点上，目的是实现数据的本地性，提高读写效率。1 RegionServer中的组件1.1 WAL:Write Ahead Log1.1.1 主要特点为一个文件0.94之前
2017-03-09 10:06:54
347
原创 性能调优
一、调优的目的充分的利用机器的性能，更快的完成mr程序的计算任务。甚至是在有限的机器条件下，能够支持运行足够多的mr程序。二、调优的总体概述从mr程序的内部运行机制，我们可以了解到一个mr程序由mapper和reducer两个阶段组成，其中mapper阶段包括数据的读取、map处理以及写出操作(排序和合并/sort&merge)，而reducer阶段包含mapper输出数据的获取、数据
2017-03-09 10:03:59
194
转载 完整java开发中JDBC连接数据库代码和步骤
JDBC连接数据库 •创建一个以JDBC连接数据库的程序，包含7个步骤： 1、加载JDBC驱动程序： 在连接数据库之前，首先要加载想要连接的数据库的驱动到JVM（Java虚拟机）， 这通过java.lang.Class类的静态方法forName(String className)实现。 例如： try{ //加载M
2016-11-03 15:28:34
239
Micro820与S7-1200 modbusTCP通讯
2023-07-07
MAN_MIC_BPI__M4A4__2K_B0_KPX______EN_B15_DRW_914420_02_000.pdf
2021-12-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人