- 博客(20)
- 收藏
- 关注
原创 pandas 从excel读出来存储到mysql中空数据为nan的问题
1.数据库存储为了方便已经写好了工具类 python,可以将 dict或 [dict1,dict2] 形式的数据,只要key 与数据库表中的字段一样,就可以存储进去。3.python在存储的时候,不认识nan,只认识None这个 空 类型,所以需要将nan 转换为None。2.在使用pandas 将 excel 表读出来数据的时候,空数据会有nan。这种形式的数据,可以直接存入到数据库了。
2024-01-04 15:46:57
597
1
原创 requests,urllib,urllib3爬虫库使用
requests库是最好使用爬虫python第三方库,一般掌握是个请求参数就可以解决大部分问题了;urllib库与urllib3库这些标准库,也需要了解
2021-04-03 16:52:30
1339
1
原创 使用requests库爬取百度图片
使用requests库爬取百度图片安装pip install requests爬虫流程抓取首页图片静态页面import reimport osimport requests#1.目标数据是图片#2.请求流程 1.先访问page页获取图片url2.对url发起请求,获取图片数据,3.存储#一张图片# url="https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=2325464303,1389978966&f
2021-04-03 16:43:43
1828
原创 爬虫原理
爬虫的概念尤其重要,是我们爬取数据的依据伪装称客户端与服务端进行数据交互的程序 从这一句话展开,才会有清晰的知识脉络http协议,cookie,url 这些概念的理解,才能够比较好的理解爬虫
2021-04-03 16:21:36
238
原创 uwsgi no python application found 错误(python3 + ubuntu)
问题:在配置运行阿里云的时候,uwsgi的配置文件本来在centos上运行良好,当布置到阿里云上的时候,出现标题的错误。uwsgi no python application found解决方法:于是开始找django的环境,使用pip show可以看到django安装的location:找到django与pytz的location pip show django|grep -i loc...
2020-01-05 00:12:55
604
原创 使用django自带后台管理系统,uwsgi启动css格式消失的问题
CSS加载的样式没有了,原因使用了django自带的admin,在使用 python manage.py runserver启动 的时候,可以加载到admin的文件。而在使用uwsgi启动的时候,一些网页需要的静态文件uwsgi没有找到,所以出现了比较丑陋的情况。解决方法:将admin的文件找出来放在static里面,通过uwsgi进行加载;step1:先收集到all_static下...
2020-01-04 14:43:55
803
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人