- 博客(9)
- 收藏
- 关注
原创 Scrapy爬虫,数据存入MongoDB
一些想法首次登陆MongoDB,由于没有设置用户管理权限,会给出警告,“WARNING: Access control is not enabled for the database”。警告(warning)和错误(error)不一样,你完全可以忽略警告,并不影响你使用MongoDB。即使你没有创建管理员权限,在没有账号和密码的情况下也可以对数据库进行操作。但是从安全的角度考虑,最好是给要操作的数...
2018-06-13 15:07:47 8032 1
原创 通过whl文件安装pymongo
通过pip命令安装pymongo的时候,提示以下错误:Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问网上查找了很多资料,包括stackoverflow上,大部分人说以管理员权限运行cmd,然后再用pip命令安装就可以了。但是很遗憾,即使以管理员权限安装还是不行。所以还是回到了万能的解决办法,下载whl...
2018-06-11 12:25:53 1331
原创 Mac下安装mongoldb 报错 IllegalOperation: Attempted to create a lock file on a read-only directory
错误日志2018-06-08T22:39:45.815+0800 I STORAGE [initandlisten] exception in initAndListen: IllegalOperation: Attempted to create a lock file on a read-only directory: /data/db, terminating2018-06-08T22:...
2018-06-09 10:31:30 3926 3
原创 Mac下安装mongoldb 报错 Failed to set up listener: SocketException: Address already in use
错误日志2018-06-08T21:52:26.653+0800 E STORAGE [initandlisten] Failed to set up listener: SocketException: Address already in use2018-06-08T21:52:26.653+0800 I CONTROL [initandlisten] now exiting2018-...
2018-06-09 08:28:47 8964 1
原创 Windows环境下MongoDB 的安装及配置
MongoDB的安装1.下载的话,最好到官网下载,安全,省心。官方文档也是很好的学习资料。MongoDB官方的安装包网址:https://www.mongodb.org/dl/win32/x86_64-2008plus-ssl?_ga=2.48115943.1354382299.1528422027-905557587.1528422027)安装包有zip和msi格式,我的电脑是win10系统64...
2018-06-08 17:52:50 1001
原创 python安装scrapy爬虫框架,提示 error: command 'clang' failed with exit status 1
scrapy是python爬虫中,比较常用的一种框架。提示异常:Mac上安装的时候,报错"error: command 'clang' failed with exit status 1"。songrenqingdeMacBook-Pro:~ songrenqing$ pip install scrapyCollecting scrapy Using cached https://file...
2018-06-03 12:21:13 16795 3
原创 Mac下文件Non-ISO extended-ASCII编码问题
在中文环境使用Mac电脑,经常会出现编码问题。比如从某个网站,下载了一个txt文件。但是由于文件中包含中文,需要将文件转换成utf-8编码,Mac记事本才能正确打开。不然会出现乱码或者打不来的情况,如下图:还有就是Mac对excel并不友好,Mac安装的excel没有utf-8编码。所以网上经常也有人问,Mac下excel打开文件全是乱码,怎么解决。之前在知乎有回答这个问题,Office for ...
2018-06-02 22:41:42 6574 2
原创 python读写txt文件,并用jieba库进行中文分词
在虎扑上随便找了一段文字,粘贴到word.txt文件中,然后对这段文字进行处理。其中用到的matplotlib库,主要是用来绘图;jieba库,对文字进行分词;wordcloud库,构建词云。一、引用库import jiebaimport matplotlib as mplimport matplotlib.pyplot as pltfrom wordcloud import WordClo...
2018-06-01 17:51:56 25607 7
原创 拉勾网招聘数据分析
关于如何爬取拉勾网上的招聘信息,网上教程很多,而且很详细,我自己不再重复提供了。每个人遇到的大部分问题,我估计70%,在网上都可以找到答案。善于利用搜索引擎,自己多动手,就能够解决其中的大部分问题。我感兴趣的是,如何处理爬下来的数据,这些数据能够描述什么样的现状。当然了,仅仅展示这些数据,对于数据分析来说是远远不够的。展示是第一步,是基础。如何从这些展示的数据中发现问题,并提出解决方法,甚至能够说...
2018-06-01 17:43:04 8399 18
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人