- 博客(7)
- 收藏
- 关注
RSS订阅原创 利用高德地图获取地点经纬度，并提取两地驾车、步行、骑行的出行时间、出行距离、费用等参数
提取高德地图不同地点的经纬度，并获取两地驾车、步行、骑行出行时间、出行距离、费用等参数
2022-08-28 16:48:55
4892
4
原创 使用【Orcale】将DMP数据库文件转为CSV文件
最近课题组有一个月的某市内的出租车数据，储存的格式是DMP格式，为了转成方便使用学习的CSV文件，这俩天陆陆续续的一直在鼓捣，踩坑无数，最后终于弄出来，原始数据如下（一般从数据公司获取的数据多为orcale导出的DMP格式）首先将数据导入到自己的本地数据库orcale中，首先要确定原始导出数据使用的数据泵是exp还是expdp，相应的我们导入到本地数据库时就得使用imp或者impdp，不然会报错。第二步是建立相应的表空间，以及相应的用户（这一步在sql中执行）#创建表空间create tables
2021-10-03 14:28:17
1310
原创 【pandas】根据其他表格列数据更新相应的列字段，apply()操作实例
今天在学习中，遇到一个小问题，需要把主表中的出行网格id，和终点网格id替换成对应的枢纽地点，从表中有每个枢纽对应的id（一个枢纽对应多个网格id），1.原始数据如下图上面是枢纽id,下方是出行信息 2.将数据导入python的pandas进行分析下面是主要的代码展示...
2021-08-23 14:16:18
1681
原创 【Pandas】多种添加行列数据方法
发现自己学习python 的各种库老是容易忘记，所有想利用这个平台，记录和分享一下学习时候的知识点，以后也能及时的复习，最近学习pandas，那我们来看看pandas添加数据的一些方法创建一个beiy...
2021-08-12 16:17:13
30824
2
原创 使用xpath，正则表达式爬取豆瓣top250电影信息
今天使用xpath爬取豆瓣电影top250的电影信息，使用了xpath，和正则表达式，最近学习爬虫感觉xpath是相对较简单一点的（相对于正则表达式），xpath有时候提取的数据不是自己全部需要的，所以配合着正则表达式一起用效果较好。今天爬取的网站是豆瓣电影top250（https://movie.douban.com/top250?start=0&filter=），进行翻页之后发现它的url变化情况它们在翻页时候，start一次变化25，我们可以使用range(0,226,25)获取到10
2021-08-09 19:52:40
3067
原创 通过python爬取动态加载的网页数据，并写入pandas用于后面分析
通过python爬取动态加载的网页数据，并写入pandas用于后面分析最近开始学习爬虫，通过博客记录自己的学习成果，在此特别感谢B站的波波老师，B站账号：路飞学城IT这次爬取的网站是：化妆品生产许可信息管理系统服务平台（http://scxk.nmpa.gov.cn:81/xk/#）这个网站的数据是动态加载出来的使用request请求这个网站是得到不了数据的，我们可以通过调出网页的相关代码之后，利用ctrl+f 搜寻网页数据的存放地址找到真正的可以请求得到的url，对其发起请求可以得到里面的数据，
2021-08-08 21:52:10
817
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人