python
文章平均质量分 86
大壮vip
博学而笃志,切问而近思。
展开
-
【HBase数据开发】最新centos安装python3X做数据分析
Linux下安装Python3在Linux系统中,一般都自带Python,不过Linux下自带Python大都是 2.x版本,如果我们想要使用python3的话,最好是再重新装一个Python3的环境,让python2和python3共存。注意:最好不要删除自带的python2,因为可能有其他地方依赖python2,直接删掉的可能会导致其他的问题。下载python3安装包本次我们要安装的是 Python 3.6.8,可以在 windows 下载好上传到 Linux服务器,也可以..原创 2020-08-13 10:06:04 · 383 阅读 · 0 评论 -
【足球分队代码】分享一个自己写的足球分组代码
有时候,大家报名,用一个格式报名,对不拉。然后这里面队伍,大家实力有高有低,个么都想和厉害的一起,咋办呢?交给随机分组程序来吧。分享我写的。# -*- coding: utf-8 -*-import randomif __name__ == "__main__": print("--------") # group =4 allSo...原创 2020-04-26 19:20:30 · 1736 阅读 · 0 评论 -
python构建集成测试框架与部署
1.解压项目目录到服务器unzip filename -d ./2.执行脚本可能会报错Traceback (most recent call last): File "dataQA_Ralph_dependency.py", line 3, in <module> from BeautifulReport import BeautifulReportI...原创 2020-03-29 22:43:40 · 788 阅读 · 1 评论 -
ModuleNotFoundError: No module named 'PIL'
错误:line 3, in <module>from PIL import ImageModuleNotFoundError: No module named 'PIL'解决方法:运行命令:pip install pillow如果运行该命令 显示Requirement already satisfied: Pillow in c:\program fil...原创 2019-12-04 10:02:28 · 2162 阅读 · 0 评论 -
python3.5安装
开始python3.5的安装请注意linux自带python的版本。 1.安装依赖yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel -y 2.下载源码官方地址:https://www.python.org/ftp/使用命令...原创 2018-09-20 18:40:24 · 6491 阅读 · 0 评论 -
python的list差集
一.两个list差集如有下面两个数组:a = [1,2,3]b = [2,3]想要的结果是[1]下面记录一下三种实现方式:1. 正常的方式 代码如下 复制代码 ret = [] for i in a: if i not in b: ret.append(i) 2. 浓缩版...原创 2018-10-10 13:25:29 · 6717 阅读 · 0 评论 -
python2.6.6升级至2.7排坑文档
将python 2.6 升级到 2.7,及pip安装由于CentOS6.5 自带python版本为2.6.6,实际中使用的大多为2.7.x版本。于是手动升级。查看python的版本#python -VPython 2.6.61.下载Python-2.7.6#wget https://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgz注...原创 2018-12-04 17:13:52 · 1034 阅读 · 0 评论 -
Python安装第三方包时报错:Microsoft Visual C++ 14.0 is required
今天使用pip安装 类库,报错Microsoft Visual C++ 14.0 is required官方下载地址 http://download.microsoft.com/download/5/F/7/5F7ACAEB-8363-451F-9425-68A90F98B238/visualcppbuildtools_full.exe这个是工具下载,不要着急下载就行了。...原创 2019-07-11 15:06:54 · 1160 阅读 · 0 评论 -
从pandas写入csv中文乱码问题的解决
在使用pandas的to_csv来写入csv中,会出现中文乱码问题,可以通过在pandas中读取带有中文的csv文件时,读写中汉字为乱码,可加上encoding参数来避免,如:pd.read_csv("ee.csv",encoding="utf-8")当然,在导出时记得也加上encoding参数,否则导出后用excel打开也是乱码,editplus打开正常,如:df.to_csv("sel....原创 2019-07-12 11:20:52 · 3008 阅读 · 0 评论 -
自动化测试selenium
一,下载:下载地址:https://sites.google.com/a/chromium.org/chromedriver/downloads二 添加方法pip install seleniumhttps://sites.google.com/a/chromium.org/chromedriver/downloads解压后里面是一个exe文件,有两种选择:...原创 2019-07-22 15:52:45 · 125 阅读 · 0 评论 -
webdriver通过class获取元素——正确方法
通过webdriver 取得页面元素的时候,有时候由于某些元素只有样式类,没有ID和NAME。这个时候我们就需要通过特别的方式获取该元素了。1:当元素只有一个样式,比如 class="style1" ,这个时候可以通过:find_element_by_class_name("style1") 获取2:当元素多个样式的时候,比如 class="style1 style2 style3...原创 2019-07-22 16:46:12 · 3348 阅读 · 0 评论 -
Python开发hdfs到s3难点克服
本篇讲述python的开发难点,例如,用自己代码代替不安全Python库源码,例如队列异常等1.来说第一点,开发可以用aconda,生产不可以,所以,我建议开发也不要用。服务器需要的类库,交给管理员安装类库,这个可以用pip search pycrypto注意使用2.6.1,我们开发的版本,尽量保持一致,同时要求你的开发python原创 2018-01-14 18:37:54 · 1029 阅读 · 0 评论 -
python从提供的api中提取数据信息解析json
python从提供的api中提取数据信息解析json准备60TB的数据迁移了,想象都激动迁移到s3上面,具体的组件信息普及,我会在后面提供介绍首先,刚入职,很多信息没有,oa、邮箱、域账号、vpn都没有,这种情况下工作,有点难。纸笔、屏幕都没有给(没有分屏,还在用13寸的屏幕看代码,眼睛都瞎了)废话不吐槽了原创 2017-12-18 16:58:21 · 11798 阅读 · 3 评论 -
Python开发爬虫完整代码解析
Python开发爬虫完整代码解析 移除python三天时间,总算开发完了。说道爬虫,我觉得有几个东西需要特别注意,一个是队列,告诉程序,有哪些url要爬,第二个就是爬页面,肯定有元素缺失的,这个究其原因我并不理解,为什么爬源代码还会爬下来页面缺元素闭合标签。但是概率特别小。第三个就是,报错重跑机制,经常会出现页面urlerror10004报错,其实就是网页打不开,打不开的原因也许原创 2017-07-17 11:51:43 · 6125 阅读 · 2 评论 -
Python开发爬虫,爬取网站
第二篇,爬取数据 移除点击此处添加图片说明文字之前几个礼拜我们稍微小小跑了一下python,调度呀、任务呀用了,那么今天我们要写爬虫脚本,第一篇我们搭建了windows的eclipse开发python环境,现在,让我们稍微了解一下python。本篇引用较多,建议快速阅读。 移除点击此处添加图片说明文字 移除点击此处添加图片说明文字看一下2.6和2.7的特点原创 2017-07-17 11:49:29 · 1620 阅读 · 1 评论 -
Python:多线程、消息队列编程
用多线程来做文件读写、网络交互,以大大提高效率,实测速度从一个小时25分钟 移除python终于搞定了多线程,很爽。这个让我很烦Exception in thread Thread-3 (most likely raised during interpreter shutdown):Exception in thread Thread-1 (most likel原创 2017-07-19 18:32:43 · 5655 阅读 · 1 评论 -
市场项目交接文档初稿
市场项目交接文档初稿市场项目交接,一个需求的解决逻辑一、首先拿到需求分析一下需求,需要提数的内容 移除需求二、从web层入手,找到mongodb中的表。我们获取到php的代码,从源头解决该需求;因为php的关系,我们可以直接通过url地址确定到代码段。首先我们根据页面,查到:推送部署,eclipse使用ctrl-h。 移除点击此处添加图片说明文字原创 2017-07-22 00:28:41 · 1294 阅读 · 0 评论 -
市场项目:push模块文档
市场push文档 移除点击此处添加图片说明文字关于市场问题的两个解决方案文档1、卡牛 推送安装uv查询2、市场push数据指标出问题一,解决推送安装uv查询首先解决第一个问题,卡牛信用管家(包名:com.mymoney.sms)7.21-7.22两天的安装uv也帮忙查询23日 卡牛安装uv 查询:select package_name,trim(cha原创 2017-07-28 11:28:43 · 520 阅读 · 0 评论 -
机器学习和数据挖掘1——来使用pip.exe
机器学习和数据挖掘1——来使用pip.exePython的包管理工具pip的安装与使用一、基本简介【基本简介】Python有两个著名的包管理工具easy_install.py和pip。在Python2.7的安装包中,easy_install.py是默认安装的,而pip需要我们手动安装。 pip可以运行在Unix/Linux, OS X, and Win原创 2017-11-07 14:26:09 · 762 阅读 · 1 评论 -
机器学习和数据挖掘2——来认识Jupyter
机器学习和数据挖掘2——来认识JupyterJupyter Notebook用途包括:数据清理和转换,数值模拟,统计建模,机器学习等等接下来是一些简介,不喜欢的可以直接跳过,看如何搭建和使用:---- 这些是百度百科上面的,让我们了解Jupyter ---------------Jupyter Notebook(此前被称为 IPython原创 2017-11-07 14:33:07 · 2210 阅读 · 1 评论 -
机器学习和数据挖掘3——预测波士顿房价
机器学习和数据挖掘3——预测波士顿房价来做一个demo,用python跑线性回归,来预测波士顿房价来,首先,我们引入库sklearn,然后直接使用该类库集成的数据集。别忘了前面两篇文章,现在我们使用eclipse搭建开发环境,后续可能会换。记得我之前用的2.6.6,现在ide需要改成3.6.3。改的位置:window-preferences-PyDe原创 2017-11-08 13:32:36 · 11531 阅读 · 1 评论 -
Python语言十分钟快速入门
假设你希望学习Python这门语言,却苦于找不到一个简短而全面的入门教程。那么本教程将花费十分钟的时间带你走入Python的大门。本文的内容介于教程(Toturial)和速查手册(CheatSheet)之间,因此只会包含一些基本概念。很显然,如果你希望真正学好一门语言,你还是需要亲自动手实践的。在此,我会假定你已经有了一定的编程基础,因此我会跳过大部分非Python语言的相关内容。本文将高亮显示重原创 2017-11-08 16:50:38 · 508 阅读 · 0 评论 -
机器学习和数据挖掘4——NumPy快速入门
机器学习和数据挖掘4——NumPy快速入门NumPy快速入门一、关于NumpyNumpy是Python第一个矩阵类型,提供了大量矩阵处理的函数。非正式地来说,它是一个使运算更easy,执行速度更快的库,因为它的内部运算是通过C语言实现的。numpy包含了两种基本的数据类型:矩阵和数组。二者在处理上稍有不同,如果你熟悉MATLAB的原创 2017-11-10 11:20:48 · 1722 阅读 · 0 评论 -
python脚本批量执行shell,使用queue、threading库
python脚本批量执行shell,使用queue、threading库多线程队列再出江湖,搭配执行批量shell的hadoop上传sc操作。然后调试看看效果本篇为编码操作。和我上上家公司一样,多线程爬虫某豆荚的app应用网站,但是此次功能没有那复杂了,就是为了快点搞完。那现在我们开始,引入Queue队列,和thread原创 2017-12-20 17:32:18 · 3304 阅读 · 0 评论 -
python批量提交s3-被搁置
python批量提交s3-被搁置来吧,先来热热身,python跑linux命令玩玩,马上就开始搞hadoop命令了,前路漫漫前路漫漫,但是也不要急,我们继续编写脚本,使其可以自动组装hadoop的目录结构,然后上传,这个我们具体使用多线程+消息队列的方式,还是单线程,跑测试,具体的,我们等一会儿稍晚些时候商量一下,还是说,我先测试一下。原创 2017-12-20 17:34:01 · 852 阅读 · 0 评论 -
工作任务
追查数据源,找到报表产出数据源。首先配置好git之后,我们打开页面的url,分配的是先看产检报告。 移除点击此处添加图片说明文字同时,将数据报表产出的etl部分从git检出,等待查阅代码。 移除点击此处添加图片说明文字这里的git.exe不用理会,因为我们暂时打算使用命令行,后面可以我们使用客户端吧,看个人喜好,喜欢客户端或者命令行原创 2017-12-18 14:05:56 · 361 阅读 · 1 评论 -
Python开发爬虫环境搭建
移除点击此处添加图片说明文字收到命令,python开发爬虫脚本,那么我们准备一下。https://www.python.org/download/releases/2.6.6/ 移除点击此处添加图片说明文字http://www.cnblogs.com/Realh/archive/2010/10/04/1841907.html按照这篇文档安装: 移除点击此处添加图片原创 2017-07-17 11:46:06 · 454 阅读 · 0 评论