python
文章平均质量分 85
OnTheRoad_Kang
比你优秀的还比你努力你有什么资格不去努力
展开
-
python案例小程序
案例1、python爬取网站Jpg图片案例2、Python批量将ppt转换为pdf案例3、python爬取歌曲评论案例1主要实现一个简单的爬虫,从一个百度贴吧页面下载图片。下载图片的步骤如下:获取网页html文本内容;分析html中图片的html标签特征,用正则解析出所有的图片url链接列表;根据图片的url链接列表将图片下载到本地文件夹中。代码如下:import requestsimport ...原创 2018-04-24 22:20:18 · 19965 阅读 · 3 评论 -
部署Python3用于集群资源脚本调用
备注:在你使用的集群上都要做部署我这里默认bigdata241节点(检查节点上是否有git,没有的话yum下载)CentOS7 默认已经安装了Python2.7.5[root@bigdata241~]# python --versionPython 2.7.5[root@bigdata241 ~]# which python/usr/bin/python[root@bigd...原创 2018-11-24 20:49:41 · 9787 阅读 · 1 评论 -
python下载某猫data生成的xlsx通过脚本转换成csv上传至hive集群做数据处理
商品信息有关内部信息不便透露,python程序做登录以及商品数据的下载,因为只能下载excel,所以需要转正csv,这里需要做sheet分页读取。#-*- coding: utf-8 -*-import csvimport openpyxl def xlsx_to_csv_data(): data = openpyxl.load_workbook('/home/hadoop/data...原创 2019-07-31 14:52:36 · 337 阅读 · 0 评论