笔记
@懒羊羊
这个作者很懒,什么都没留下…
展开
-
爬取腾讯网的世界疫情实时数据
import csv, requests # 导入请求模块import pymysqldef save_html(a): db = pymysql.connect('localhost', 'root', 'root', 'spider', charset='utf8') cursor = db.cursor() ins = 'insert into coronavirus values(%s, %s,%s, %s, %s, %s, %s)' cursor.e...原创 2021-05-12 09:12:37 · 863 阅读 · 0 评论 -
Hadoop、zookeeper、kafka、flume启动
1.hadoopstart-dfs.sh | stop-dfs.shstart-yarn.sh | stop-yarn.sh zookeeperzookeeper的bin目录下: ./zkServer.sh start | ./zkServer.sh stopkafka(需要先启动zookeeper), 在kafka的bin目录里执行kafka-server-start.sh /training/kafka_2.11-2.3.1/config/se原创 2020-11-25 19:23:55 · 269 阅读 · 0 评论 -
pycharm中安装scrapy
顺序下载如下包: 右键 file --> settings --> Project:Spider --> Python Interpreterwheel、lxml、Twisted、requests、selenium、scrapyScrapy常用命令创建爬虫项目 —— scrapy startproject 项目名创建爬虫文件 —— scrapy genspider 爬虫名 域名运行爬虫 —— scrapy crawl 爬虫名例:scrapy项目结构Gushi..原创 2020-11-13 17:18:43 · 697 阅读 · 0 评论 -
常用快捷键
代码一键(取消)注释多行代码 —— Ctrl + /右键没有了 java class原创 2020-10-27 10:01:56 · 129 阅读 · 0 评论