Python
随风而醒
我是个疯子,虽然我在服新药,但仍旧有幻觉
展开
-
python实现csv格式文件转为asc格式文件
一、背景描述 csv格式文件是一种类似于excel的文件格式 asc格式文件是一种可以用text打开的文本文件 csv转asc本来可以用arcgis顺利完成,但由于csv数据量太大(744万行),arcgis处理不了如此大的文本,所以需要通过写代码实现(注:不是用python调用arcgis工具)二、格式说明 Csv格式: 说明:第一列为id,第二列是值,第三第四列为值所在的行列号;c原创 2017-03-21 21:47:33 · 10369 阅读 · 6 评论 -
python实现网站内部视频批量下载
一、背景 在有些时候,当我们突然在某个网站看到一个特别好的视频(比如高清MV),想把它下载下来,但突然发现,网站并没有下载链接;这个时候我们一般有几种解决办法:使用网页插件(比如火狐浏览器的netVideoHunter) 在网页上右键–>查看源代码–>在网页代码中找到一个隐藏链接入:<script>var VideoInfoList="potplayer$$高清$http://silent:原创 2017-04-08 15:41:16 · 5598 阅读 · 0 评论 -
python模拟登陆+获取数据
参考地址:http://www.jianshu.com/p/3debfb110ad9最近做了一个网络爬虫的题,要求:访问一个链接,页面中含有同样的另一个链接信息,需要提取出来,再次访问,直到访问到某一个链接跳转到成功页面。解析:就是一个网页爬取,主要遇到的困难时如何保存登录信息,由于对python不熟,加上其中各方面的小错误没注意导致一直得不出结果,现在回顾发现有很多这一个简单地题目其实涉及到很多知原创 2017-09-02 14:43:01 · 1389 阅读 · 0 评论 -
python二维数组操作符*的浅拷贝-导致的整列修改
转载:博客园-geeking python的二维数组操作 需要在程序中使用二维数组,网上找到一种这样的用法:1 2 3 4 5 6 创建一个宽度为3,高度为4的数组 [[0,0,0], [0,0,0], [0,0,0], [0,0,0]] myList = [[0] * 3] * 4 但是当操作myList[0][1] = 1时,发现整个第二列都被赋值,变成[[0,1,转载 2017-09-22 12:32:27 · 1299 阅读 · 0 评论 -
python网络数据采集-第5章存储数据
5.1 媒体文件简述 网络上的资源很多,有图片,视频,常规文件rar\zip等,由于网络爬去的数据量大,如果直接保存,相对只保存对应的链接字符串,有很多缺陷:1、由于下载,导致爬取速度慢;2、消耗存储空间;3、而且还要实现文件下载的方法,繁琐;优点:1、防止由于盗链改变导致的信息丢失(盗链即网页内部通往外部网页的链接),盗链所连接的信息可能变化简单地文件下载# 1、单个文件下原创 2018-01-24 12:32:36 · 697 阅读 · 0 评论