- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Kafka集群搭建
接前文zookeeper集群搭建，三台服务器IP仍然为：host_0、host_1、host_21、创建kafka安装目录mkdir /home/lc/application/kafka2、下载、解压2.8版本wget https://archive.apache.org/dist/kafka/2.8.0/kafka_2.12-2.8.0.tgz tar -zxvf kafka_2.12-2.8.0.tgz3、修改配置文件vim kafka_2.12-2.8.0/config/
2021-11-28 15:43:44
1149
原创 zookeeper3.7集群搭建
服务器准备三台centos7服务器，假设IP分别为host_0、host_1、host_2zk安装1、新建目录用来安装zookeepermkdir /home/lc/application/zookeeper cd /home/lc/application/zookeeper2、创建zk数据存放目录mkdir zkdata3、下载zookeeper3.7版本wget https://mirrors.aliyun.com/apache/zookeeper/zookeep.
2021-11-28 15:36:09
1764
原创 深入分析微博密码加密and百万级数据采集分享（登录篇）
目录一、前言二、登陆一、前言此文章主要是对微博微博关键词的检索结果进行采集，但是微博的采集需要登陆，所以此程序分为登陆程序和爬虫程序两部分； 微博要实现规模性数据采集自然少不了大量账号，这就需购买大量账号以及批量登陆，但是都买的账号都会对IP进行限制（一个ip下面最多登陆两个账号），所以无法实现批量登录，只能将采集程序与登录程序以1:1的形式部署多个节点，通过调用关键词任务分发接口...
2019-12-07 21:41:20
1136
10
mbloglogin.zip
2019-12-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人