- 博客(24)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【十】storm+mysql集成
使用JdbcInsertBolt、JdbcLookupBolt请直接看官网官网介绍这里代码给的例子是wordcount，用的jdbcClient直接执行SQLspoutpackage integration.jdbc;import java.util.Map;import java.util.Random;import org.apache.storm.spout.SpoutOutput...
2018-06-13 21:58:42
1947
原创 【九】storm+redis集成
redis安装storm集成redismaven pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http...
2018-06-13 03:41:12
944
原创 【一】linux安装redis（单机版）、3种启动方式、及配置文件介绍。
环境ubuntu16.04解压tar -zxvf redis-3.2.6.tar.gz修改文件夹名称mv redis-3.2.6 redis编译cd /app/redismake编译好后会看到redis.conf和src文件安装cd /app/redis/srcmake install 修改配置文件cd /app/redisvi ...
2018-06-13 00:53:59
3393
原创 【六】storm的DRPC
一、RPC1.概述 远程过程调用协议，Remote Procedure Call。序列化的速度会 影响RPC的性能。常用的序列化：avro、thrift(hive、spark有用到这个)2.基于hadoop的RPC实现代码演示3.stormDRPC（分布式RPC）概述官网DRPC介绍充分利用storm的计算能力实现高密度的计算。storm的topology接收函数参数作为输入，调用函...
2018-06-12 23:13:41
394
原创 【八】基于hadoop实现RPC代码演示
项目结构 maven<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org...
2018-06-11 15:57:30
201
原创 【七】storm的ack和fail机制代码演示
package com.sid.bigdata.storm.sum;import java.util.Map;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.spout.SpoutOutputCollector;import org.apache.s...
2018-06-11 14:49:26
924
原创 Logstash安装和基本使用
logstash是做数据采集的，类似于flume。官网http://www.elastic.co/cn/products/logstash解压 tar -zxvf logstash-2.4.1.tar.gz修改文件夹名字mv logstash-2.4.1 logstash控制台采集数据，控制台输出数据cd /app/logstashbin/logstash -e 'input { stdin { ...
2018-06-10 22:57:43
41912
5
原创 【五】storm调优，调整并行度
实际上就是用多线程。没有真的对集群做扩容。官网介绍http://storm.apache.org/releases/1.1.2/Understanding-the-parallelism-of-a-Storm-topology.htmlstorm中运行topology的实体主要有三个：worker processes: 一个supervisor可以启多个worker。一个topology可以...
2018-06-10 22:57:13
2088
原创 Logstash整合kafka
环境ubuntu16.04kafka0.9.0.0logstash2.4.1zookeeper3.4.9JDK1.8启动zkcd /app/zookeeper/bin./zkServer.sh start启动kafkacd /app/kafkabin/kafka-server-start.sh -daemon config/server.properties &创建topicbin/kaf...
2018-06-10 22:55:41
16024
1
原创 【一】kafka安装及基本使用
概述kafka是一个分布式的流处理平台。它通常用于构建实时的数据管道，以及实时流处理。能够横向扩展，有容错机制，高速运行在生产上。特性：发布&订阅：像消息系统一样读写流数据。处理：数据流能够高效的被处理，接近实时。存储：数据流能够安全的在进行分布式中多副本的存储。kafka架构：producer:生产者consumer：消费者broker：存储容器。...
2018-06-10 22:54:40
746
原创 【二】storm本地开发
一、eclipse+maven构建storm项目前期准备JDK、IDEA、maven创建maven项目添加maven的storm依赖打开官网：http://storm.apache.org/releases/1.1.2/index.html打开pom.xml文件把官网的这个配置加进来，我这里用的是1.1.1二、iSpout核心接口概述核心方法实现类三、iComponent核心接口四、iBolt核心...
2018-06-10 22:54:01
821
原创 【四】storm作业提交到集群上运行
maven的pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org...
2018-06-10 22:53:09
3023
原创 【一】storm理论+数据分组策略
目录：一、storm的技术网站二、简介三、storm和hadoop的比较四、storm和spark streaming的比较五、storm核心概念六、storm架构七、容错性八、ack和fail机制正文：一、storm的技术网站：官网：http://storm.apache.org/官网可以订阅邮件Github: github.com/apac...
2018-06-10 22:36:29
424
原创 【一】zookeeper安装、zkCli.sh基本使用、ZKUI安装
简介：zookeeper它致力于开发和管理开源的服务器，使得分布式框架高可靠。它提供一下服务：管理配置信息，命名服务，提供了分布式的同步服务，提供了组服务。下载：http://mirrors.hust.edu.cn/apache/zookeeper/解压：tar -zxvf zookeeper-3.4.9.tar.gz修改文件夹名称：mv zookeeper-3.4.9 zookeeper配置环境...
2018-06-09 17:00:20
2038
原创 【三】storm安装高可用HA集群版
环境ubuntu16.04jdk1.8python3(2或3都行)zookeeper3.4.9使用storm1.1.1集群版：4台机器 nimbus supervisor zookeepernode1 Y Ynode2 ...
2018-06-09 16:58:45
1958
原创 eclipse中使用maven的报错处理
1.执行maven install报错：[ERROR] COMPILATION ERROR : [INFO] -------------------------------------------------------------[ERROR] No compiler is provided in this environment. Perhaps you are running on a JR...
2018-06-09 02:00:26
274
原创 linux安装maven
官网下载maven安装包http://maven.apache.org/download.cgi解压 tar -zxvf apache-maven-3.3.9-bin.tar.gz修改名字mv apache-maven-3.3.9 maven配置环境变量vi /etc/profileexport MAVEN_HOME=/app/mavenexport PATH=:$PATH:$MAVEN_HOME...
2018-06-06 01:46:13
1257
原创 linux安装python3
apt install yum下载https://www.python.org/downloads/解压tar -zxvf Python-3.6.0.tgz修改名字mv Python-3.6.0 python创建安装文件目录mkdir /app/python3安装cd /app/python./configure --prefix=/app/python3makemake install测试输入p...
2018-06-06 01:28:53
5860
原创 【一】sqoop安装
环境ubuntu16.04下载http://www.apache.org/dyn/closer.lua/sqoop/解压文件tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz 修改名字mv sqoop-1.99.7-bin-hadoop200 sqoop配置环境变量vi /etc/profileexport SQOOP_HOME=/app/sqoopexport...
2018-06-06 00:42:29
799
1
原创 【一】hive安装(远程metastore)
前期：请先安装jdk和hadoop和mysqljdk安装hadoop分布式安装mysql安装环境ubuntu16.04下载http://mirrors.tuna.tsinghua.edu.cn/apache/hive/rz上传安装包到服务器解压tar -zxvf apache-hive-2.3.3-bin.tar.gz修改名字文件名字mv apa...
2018-06-05 00:53:01
1013
原创 【一】Linux安装mysql
环境ubuntu16.04 apt-get install mysql-server apt install mysql-clientapt install libmysqlclient-dev验证mysql工作状态systemctl status mysql.servicenetstat -tap | grep mysql 修改配置文件vi /etc/...
2018-06-04 22:59:40
189
原创 【九】hadoop编程之基于内容的推荐算法
基于内容的协同过滤推荐算法：给用户推荐和他们之前喜欢的物品在内容上相似的其他物品物品特征建模（item profile）以电影为例1表示电影具有某特征，0表示电影不具有某特征 科幻 言情 喜剧 动作 纪实 国产 欧美 日韩 斯嘉丽的约翰 成龙 范冰冰复仇者联盟： 1 ...
2018-06-04 14:58:24
3754
2
原创 【八】hadoop编程之基于用户的协同过滤推荐算法UserCF
基于用户的协同过滤推荐算法UserCF：给用户推荐和他兴趣相似的其他用户喜欢的物品模拟情景用户 A B C D E F商品 1 2 3 4 5 6行为 点击 1.0分 搜索 2.0分 收藏 5.0分 付款 10.0分用户行为列表如下用户 物品 行为A 1...
2018-06-01 23:12:43
2294
1
原创 【七】hadoop编程之基于物品的协同过滤推荐算法ItemCF
基于物品的协同过滤推荐算法：给用户推荐一些他们以前感兴趣的物品相似的物品模拟情景用户 A B C 商品 1 2 3 4 5 6行为 点击 1.0分 搜索 2.0分 收藏 5.0分 付款 10.0分用户行为列表如下用户 物品 行为A 1 点击C ...
2018-06-01 16:11:06
1526
1
hadoop-eclipse-plugin-2.9.0套装
2018-05-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人