- 博客(6)
- 收藏
- 关注
RSS订阅原创 python入坑两年总结
python入坑两年总结不知不觉的，学习和使用python已经两年了，起先是看到一篇新闻说现在中小学义务教育要加入编程课，就想自己学一学辅导孩子。之前值粗浅的学过foxpro，懂一些linux/mac命令考了计算机二级，算是名副其实的小白了。说下我的学习路线，python基础-sublime使用-jupyter使用-vscode的使用-pip-conda-虚拟环境-mongodb-git/gi...
2020-04-19 11:44:29
274
原创 Scrapy爬虫框架管道文件pipelines数据图像存储
Scrapy爬虫框架管道文件pipelinesScrapy爬虫框架管道文件pipelines一、pipelines的通用性二、pipelines的主要功能1、对数据进行后处理，清洗，去重，融合，加时间戳......2、将数据存储在文件系统3、将数据存储到数据库4、下载图片视频等二进制文件Scrapy爬虫框架管道文件pipelines很多人开始使用scrapy框架会对pipelines的作用不够...
2020-04-19 10:53:09
721
原创 vi/vim的用法学习笔记
vi是什么vi编辑器是所有Unix及Linux系统下自带的一款强大的文本编辑器。vi的强大不逊色于任何最新的文本编辑器。由于他是系统自带的原因，经常会在输入一些命令时候无意的进入。虽然没打算用它写代码，但是掌握简单的使用是非常必要的（至少要知道怎么退出来）。举一个简单的情形，如果你在git commit的时候忘记加注释，恭喜你，你现在进入的就是vi编辑器。第一次进入一定一头雾水。现在就来学习下...
2020-02-16 08:18:49
297
原创 2020肺炎数据收集统计
无聊医生玩python爬取分析2020肺炎官方数据说明：本文数据都来自官方发布内容，由于春节期间电脑不在手边，本人是医生，开始几天很忙，动手有点晚了，前面一些天数据有些没有统计全。数据下载##1 爬虫代码本来一回来想好好写个爬虫的，后来发现很容易找到了数据接口。直接下载json就是了。每天备份一份，留作后期分析。我写的时候用了scrapy，其实没必要，主要是scrapy里面有现成的文档及...
2020-02-09 17:07:48
8057
10
原创 python将mongodb数据copy到mysql
因为平时用scrapy爬的数据都是写在mongodb,而django用的是mysql, 需要将mongodb数据copy到mysql,就写了下面一个小脚本.代码如下:import pymysqlimport pymongo'''将数据由mongo 导入 mysql'''class PyMongo(object): '''创建mongodb类,提供查询和插入工作''' def __...
2019-05-18 22:27:52
537
原创 第一个爬虫——简单实用的百度翻译
无聊医生玩python简单代码爬百度翻译自己搞的第一个像样点的爬虫,几行代码,可以作为简单实用的查词翻译工具.可以先看下效果另外保存到了文档里直接上代码import urllib.requestimport urllib.parseimport jsonpost_url = 'https://fanyi.baidu.com/sug'word = input('请输入要...
2019-01-31 23:53:00
710
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人