笔记
@懒羊羊
这个作者很懒,什么都没留下…
展开
-
爬取腾讯网的世界疫情实时数据
import csv, requests # 导入请求模块 import pymysql def save_html(a): db = pymysql.connect('localhost', 'root', 'root', 'spider', charset='utf8') cursor = db.cursor() ins = 'insert into coronavirus values(%s, %s,%s, %s, %s, %s, %s)' cursor.e...原创 2021-05-12 09:12:37 · 887 阅读 · 0 评论 -
Hadoop、zookeeper、kafka、flume启动
1.hadoop start-dfs.sh | stop-dfs.sh start-yarn.sh | stop-yarn.sh zookeeper zookeeper的bin目录下: ./zkServer.sh start | ./zkServer.sh stop kafka(需要先启动zookeeper), 在kafka的bin目录里执行 kafka-server-start.sh /training/kafka_2.11-2.3.1/config/se原创 2020-11-25 19:23:55 · 300 阅读 · 0 评论 -
pycharm中安装scrapy
顺序下载如下包: 右键 file --> settings --> Project:Spider --> Python Interpreter wheel、lxml、Twisted、requests、selenium、scrapy Scrapy常用命令 创建爬虫项目 —— scrapy startproject 项目名 创建爬虫文件 —— scrapy genspider 爬虫名 域名 运行爬虫 —— scrapy crawl 爬虫名 例: scrapy项目结构 Gushi..原创 2020-11-13 17:18:43 · 707 阅读 · 0 评论 -
常用快捷键
代码一键(取消)注释多行代码 —— Ctrl + / 右键没有了 java class原创 2020-10-27 10:01:56 · 139 阅读 · 0 评论