- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 爬虫中异步数据写入MySQL数据库方法
爬虫中异步数据写入MySQL数据库方法（adbapi）数据库pymysql的commit()和execute()在提交数据时，都是同步提交至数据库，由于scrapy框架数据的解析和异步多线程的，所以scrapy的数据解析速度，要远高于数据的写入数据库的速度。如果数据写入过慢，会造成数据库写入的阻塞，影响数据库写入的效率。通过多线程异步的形式对数据进行写入，可以提高数据的写入速度。 使...
2018-10-30 00:24:39
1802
原创 PyCharm快捷键
PyCharm默认快捷键1、编辑（Editing）Ctrl + Space 基本的代码完成（类、方法、属性）Ctrl + Alt + Space 快速导入任意类Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息（在方法中调用参数）Ctrl + Q 快速查看文档F1 外部文档Shift + F1 外部文档，进入we...
2018-10-29 23:41:53
220
转载 SCI、EI论文检索及论文的主要的获取方式
论文检索sci论文查找地方：http://apps.webofknowledge.com/UA_GeneralSearch_input.do?product=UA&search_mode=GeneralSearch&SID=P1cfptv3ttGUh2YIFOM&preferencesSaved= ei论文查找地方：http://www.engineeringvill...
2018-10-29 16:10:50
8610
1
原创 pip 安装myclient报错: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Too
pip install mysqlclient报错：error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools":解决办法：方法一： pip install "mysqlclient==1.3.12"方法二： ...
2018-10-27 14:38:26
594
原创 navicat 连接 mysql 报错1251-Client does not support authentication protocol requested by server的解决方法
在navicat中连接mysql时，出现了如下错误提示：Client does not support authentication protocol requested by server; consider upgrading MySQL client解决方法如下：首先进入mysql，然后修改密码，如图：注：红色部分为自己要修改的密码再次尝试连接后，成功！！！！...
2018-10-26 20:45:32
280
转载 Scrapy爬虫urlparse之urljoin() 必备
首先导入模块，用help查看相关文档>>> from urllib import parse>>> help(parse.urljoin)Help on function urljoin in module urlparse:urljoin(base, url, allow_fragments=True) Join a base URL a...
2018-10-26 10:38:07
4278
原创 BeautifulSoup中select的使用方法
html = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title" name="dromouse"><b&a
2018-10-25 19:51:01
15239
3
原创 pip使用豆瓣源进行安装下载
豆瓣镜像地址：https://pypi.douban.com/simple/虽然用easy_install和pip来安装第三方库很方便，它们的原理其实就是从Python的官方源pypi.python.org/pypi 下载到本地，然后解包安装。不过因为某些原因，访问官方的pypi不稳定，很慢甚至有些还时不时的访问不了。跟ubuntu的apt和centos的yum有各个镜像源一样，pypi也...
2018-10-23 19:54:51
7311
1
转载 win10安装TensorFlow填坑笔记
研究了一段人工智能的基础理论以后，终于决定安装一套TensorFlow来练练手。郑重其事的将一台电脑重装了win10，网上找了几个安装攻略，照着安装TensorFlow For windows。结果就踩到了几个大坑。很多安装攻略只告诉你怎么做，没告诉你为啥这么做，所以踩到坑时一脸茫然。所以我想把填坑时的分析及解决问题过程也写出来，供大家参考。说正题...
2018-10-10 16:56:20
788
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人