- 博客(12)
- 资源 (10)
- 收藏
- 关注
RSS订阅转载 python操作kafka
python操作kafkakafka简介（摘自百度百科）简介：afka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个...
2018-04-25 16:11:48
2242
2
原创 python操作pykafka
from pykafka import KafkaClientclient = KafkaClient(hosts ="127.0.0.1:9092") #可接受多个client#查看所有的topictopic = client.topics[b'test']print(topic)#选择一个topicmessage ="test message test message"#生产ka...
2018-04-25 10:21:19
2629
原创 centos7安装Zookeeper
下载zookeeper包http://mirrors.hust.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz安装1.解压 进入指定目录，解压命令： Tar -zxvf zookeeper-3.4.10.tar.gz 2.进入conf目录 进入conf目录 3.修改默认的配置文件 将默认的zoo-simple.cfg改名为zoo.cfg...
2018-04-24 09:52:50
1990
原创 centos7安装Python3.6
centos7.2默认已经安装了python2.7.5，因此要安装python3.6的话，得从python官网上下载相应版本的安装包查看python2.7 1、下载：wget https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tar.xz2、解压：tar -xvJf Python-3.6.2.tar.xz 或者 xz -d Pyth...
2018-04-20 11:09:32
2012
原创 python 离线安装包
1.建立放置python包的目录mkdir down2.使用下面命令在有网络的环境下下载相关python包pip install --download ./down -r requirements.txt （pip download -d ./down -r requirements.txt ）pip 10以上3.把包拷贝到离线环境下执行下面命令： pip insta...
2018-04-19 16:42:00
2409
原创 安装运行kafka
第一步:解压安装包 [root@hadoop2 home]# tar -zxvf /home/kafka_2.11-0.9.0.1.tgz -C /usr/local/kafka_2.11-0.9.0.1/ 修改文件名 mv /home/kafka_2.11-0.9.0.1.tgz /home/kafka-0.9.0.1/第二步:备份原始的需要修改的三个文件[root@hadoop2 ...
2018-04-13 14:10:13
1923
转载 Linux下Kafka环境的搭建
本文对Kafka做个简单介绍（详细的介绍在后续文章中体现），着重介绍下Linux下Kafka环境的搭建（单机），后续会补充集群环境下的配置。 Kafka简介 Apache Kafka是分布式发布-订阅消息系统。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。 Apache Kafk...
2018-04-13 12:05:22
2660
转载 Linux（centos7）下Zookeeper的（单机）安装与简单测试
本文先讲述Linux下单机版的安装流程，集群的配置后续再补上。关于Zookeeper的基本介绍和原来在本文不做更多介绍，可以自行查找。本文的操作流程相对简单，仅做备忘而已。 安装JDK； Zookeeper需要依赖JAVA环境运行，JDK的安装在之前的文章有做详细描述，仅供参考。 下载最新的稳定版本； 本文下载的是Zo...
2018-04-13 11:46:51
2817
原创 python 读取hadoop数据并重现上传
download.py：# -*-coding:utf-8-*-import osimport timeimport utilsimport configparserimport pyhdfsdef load_conf(): print("加载配置文件") cf = configparser.ConfigParser() cf.read("z.conf", e...
2018-04-12 14:29:39
3779
原创 python 读取文件夹下的所有文件并处理重新分类写入
import osimport sysimport ioimport time# sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') #改变标准输出的默认编码def read(): path = r"C:\Users\mzj\Desktop\高精准"# 文件夹目录 for i ...
2018-04-12 14:26:04
3497
原创 python时间与时间戳的转换
# import time## timestamp = 1523350976## #转换成localtime# time_local = time.localtime(timestamp)# #转换成新的时间格式# dt = time.strftime("%Y-%m-%d %H:%M:%S",time_local)# print (dt)#coding:UTF-8import ...
2018-04-10 17:05:37
2077
转载 使用python来访问Hadoop HDFS存储实现文件的操作
1.安装pyhdfspip install pyhdfs2.这个是pyhdfs的库1234567import pyhdfsfs = pyhdfs.connect("192.168.1.1", 9000)pyhdfs.get(fs, "/rui/111", "/var/111")f = pyhdfs.open(fs, "/test/xxx", "w")pyhdfs.write(fs, f, "fuc.
2018-04-09 17:34:31
8380
微软常用运行库合集包
2020-07-15
FileSaverJs-demo-master.zip
2020-01-10
ScreenCapture-master.zip
2020-01-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人