- 博客(9)
- 收藏
- 关注
RSS订阅原创 Scrapy爬虫，数据存入MongoDB
一些想法首次登陆MongoDB，由于没有设置用户管理权限，会给出警告，“WARNING: Access control is not enabled for the database”。警告（warning）和错误（error）不一样，你完全可以忽略警告，并不影响你使用MongoDB。即使你没有创建管理员权限，在没有账号和密码的情况下也可以对数据库进行操作。但是从安全的角度考虑，最好是给要操作的数...
2018-06-13 15:07:47
7954
1
原创 通过whl文件安装pymongo
通过pip命令安装pymongo的时候，提示以下错误：Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问网上查找了很多资料，包括stackoverflow上，大部分人说以管理员权限运行cmd，然后再用pip命令安装就可以了。但是很遗憾，即使以管理员权限安装还是不行。所以还是回到了万能的解决办法，下载whl...
2018-06-11 12:25:53
1293
原创 Mac下安装mongoldb 报错 IllegalOperation: Attempted to create a lock file on a read-only directory
错误日志2018-06-08T22:39:45.815+0800 I STORAGE [initandlisten] exception in initAndListen: IllegalOperation: Attempted to create a lock file on a read-only directory: /data/db, terminating2018-06-08T22:...
2018-06-09 10:31:30
3912
3
原创 Mac下安装mongoldb 报错 Failed to set up listener: SocketException: Address already in use
错误日志2018-06-08T21:52:26.653+0800 E STORAGE [initandlisten] Failed to set up listener: SocketException: Address already in use2018-06-08T21:52:26.653+0800 I CONTROL [initandlisten] now exiting2018-...
2018-06-09 08:28:47
8907
1
原创 Windows环境下MongoDB 的安装及配置
MongoDB的安装1.下载的话，最好到官网下载，安全，省心。官方文档也是很好的学习资料。MongoDB官方的安装包网址：https://www.mongodb.org/dl/win32/x86_64-2008plus-ssl?_ga=2.48115943.1354382299.1528422027-905557587.1528422027）安装包有zip和msi格式，我的电脑是win10系统64...
2018-06-08 17:52:50
962
原创 python安装scrapy爬虫框架，提示 error: command 'clang' failed with exit status 1
scrapy是python爬虫中，比较常用的一种框架。提示异常：Mac上安装的时候，报错"error: command 'clang' failed with exit status 1"。songrenqingdeMacBook-Pro:~ songrenqing$ pip install scrapyCollecting scrapy Using cached https://file...
2018-06-03 12:21:13
16765
3
原创 Mac下文件Non-ISO extended-ASCII编码问题
在中文环境使用Mac电脑，经常会出现编码问题。比如从某个网站，下载了一个txt文件。但是由于文件中包含中文，需要将文件转换成utf-8编码，Mac记事本才能正确打开。不然会出现乱码或者打不来的情况，如下图：还有就是Mac对excel并不友好，Mac安装的excel没有utf-8编码。所以网上经常也有人问，Mac下excel打开文件全是乱码，怎么解决。之前在知乎有回答这个问题，Office for ...
2018-06-02 22:41:42
6380
2
原创 python读写txt文件，并用jieba库进行中文分词
在虎扑上随便找了一段文字，粘贴到word.txt文件中，然后对这段文字进行处理。其中用到的matplotlib库，主要是用来绘图；jieba库，对文字进行分词；wordcloud库，构建词云。一、引用库import jiebaimport matplotlib as mplimport matplotlib.pyplot as pltfrom wordcloud import WordClo...
2018-06-01 17:51:56
25379
7
原创 拉勾网招聘数据分析
关于如何爬取拉勾网上的招聘信息，网上教程很多，而且很详细，我自己不再重复提供了。每个人遇到的大部分问题，我估计70%，在网上都可以找到答案。善于利用搜索引擎，自己多动手，就能够解决其中的大部分问题。我感兴趣的是，如何处理爬下来的数据，这些数据能够描述什么样的现状。当然了，仅仅展示这些数据，对于数据分析来说是远远不够的。展示是第一步，是基础。如何从这些展示的数据中发现问题，并提出解决方法，甚至能够说...
2018-06-01 17:43:04
8321
18
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人