Scala的RPC通信

Master:import akka.actor.{Actor, ActorRef, ActorSystem, Props} import com.typesafe.config.ConfigFactory class Master extends Actor { println(&am...

2018-05-20 13:22:40

阅读数:6

评论数:0

python爬取微信文章

from urllib.parse import urlencode from requests.exceptions import ConnectionError from pyquery import PyQuery as pq import pymongo from config impor...

2018-05-19 22:06:48

阅读数:3

评论数:0

python爬取淘宝华为手机

import re from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from s...

2018-05-19 22:06:16

阅读数:5

评论数:0

实时业务指标代码实例

主类:package kafkaAndStorm; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.StormSubmitter; import backtype.sto...

2018-05-12 21:41:22

阅读数:20

评论数:0

kafka简单代码实现

生产者:package cn.smart.storm.kafka.simple; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerC...

2018-05-12 21:30:01

阅读数:47

评论数:0

kafka知识点总结

1、kafka是什么 类JMS消息队列,结合JMS中的两种模式,可以有多个消费者主动拉取数据,在JMS中只有点对点模式才有消费者主动拉取数据。 kafka是一个生产-消费模型。 Producer:生产者,只负责数据生产,生产者的代码可以集成到任务系统中。    数据的分发策略由producer...

2018-05-12 11:27:30

阅读数:46

评论数:0

爬取猫眼电影

import json from multiprocessing import Pool import requests from requests import RequestException import re def get_one_page(url): try: ...

2018-05-10 20:50:37

阅读数:15

评论数:0

Storm启动流程分析

Storm启动流程分析1、客户端运行storm nimbus时,会调用storm的python脚本,该脚本中为每个命令编写一个方法,每个方法都可以生成一条相应的Java命令。2、nimbus启动之后,接收客户端提交任务 该命令会执行storm-starter-topologies-o.9.6.ja...

2018-05-10 16:35:40

阅读数:5

评论数:0

Storm内部的通信机制原理

1,不同的supervisor之间通过网络进行通信,每个supervisor的工作环境中都会有一个输入和输出的缓存队列;2,由于spout和bolt处理任务的数量不一致,因此在bolt的前面也会有一个消息队列对数据进行缓存,同理WordCountBolt也会有一个消息队列,对数据进行缓存...

2018-05-10 12:28:30

阅读数:4

评论数:0

storm集群的工作流程

1,客户端向nimbus提交任务请求;2,nimbus接收到客户端的任务获取supervisor的空闲worker,开始分配任务;3,supervisor集群通过监听zookeeper,获取到nimbus所分配的任务,开始启动worker;4,supervisor集群中的worker中的spout...

2018-05-10 12:17:11

阅读数:3

评论数:0

Storm编程模型

 Topology:Storm中运行的一个实时应用程序的名称。(拓扑) Spout:在一个topology中获取源数据流的组件。通常情况下spout会从外部数据源中读取数据,然后转换为topology内部的源数据。 Bolt:接受数据然后执行处理的组件,用户可以在其中执行自己想要的操作。Tuple...

2018-05-10 11:43:14

阅读数:1

评论数:0

storm核心组件

 Nimbus:负责资源分配和任务调度。Supervisor:负责接受nimbus分配的任务,启动和停止属于自己管理的worker进程。---通过配置文件设置当前supervisor上启动多少个worker。Worker:运行具体处理组件逻辑的进程。Worker运行的任务类型只有两种,一种是Spo...

2018-05-10 11:40:07

阅读数:1

评论数:0

Storm架构和编程模型总结

1、编程模型 DataSource:外部数据源 Spout:接受外部数据源的组件,将外部数据源转化成Storm内部的数据,以Tuple为基本的传输单元下发给Bolt Bolt:接受Spout发送的数据,或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个Bolt或者是存储到某种介质上。...

2018-05-09 14:52:07

阅读数:14

评论数:0

stromwordcount代码

package cn.smart.storm; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.StormSubmitter; import backtype.stor...

2018-05-06 18:45:48

阅读数:6

评论数:0

storm集群安装

sudo mkdir /export/serverssudo chmod -R 777 /exportmkdir /export/serverstar -zxvf apache-storm-1.0.0.tar.gz -C /export/serversln -s apache-storm-1.0....

2018-05-06 14:34:11

阅读数:12

评论数:0

Hbase的读写流程

1 写操作流程步骤1:Client通过Zookeeper的调度,向HRegionServer发出写数据请求,在HRegion中写数据。步骤2:数据被写入HRegion的MemStore,直到MemStore达到预设阈值。步骤3:MemStore中的数据被Flush成一个StoreFile。步骤4:...

2018-05-05 12:09:57

阅读数:4

评论数:0

Hbase的JavaAPI操作

import java.util.ArrayList; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUti...

2018-05-05 11:36:31

阅读数:15

评论数:0

常用hql练习

show databases;show tables;desc test;-------------分桶表示例:#创建分桶表drop table stu_buck;create table stu_buck(Sno int,Sname string,Sex string,Sage int,Sdep...

2018-05-01 08:37:33

阅读数:46

评论数:0

hive练习

查询全体学生的学号与姓名  hive> select Sno,Sname from student;查询选修了课程的学生姓名  hive> select distinct Sname from student inner join sc on stude...

2018-05-01 08:36:26

阅读数:15

评论数:0

hive分桶

#创建分桶表create table stu_buck(sno int,sname string,sex string,sage int,sdept string)clustered by(sno) sorted by(sno DESC)into 4 bucketsrow format delim...

2018-05-01 08:35:56

阅读数:17

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭