python
阿布的进击
python爬虫,大数据
展开
-
anaconda 环境启动报错 UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x9a in position 287: illegal mult
Python 3.8.8 (default, Apr 13 2021, 15:08:03) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32Type "help", "copyright", "credits" or "license" for more information.Failed calling sys.__interactivehook__Traceback (most recent call last): File "F.原创 2021-07-16 19:36:07 · 1098 阅读 · 2 评论 -
python链表之单向链表实践
python链表之单向链表实践链表是一种常见的数据结构,属于线性表的一种,但不会按照线性的顺序存储数据。由于不按照顺序存储,链表在存储的时候是O(1)的复杂度。链表包含:单向链表、双向链表、循环链表、块状链表本文主要是单向链表的实践,也是链表中最简单的一种,它包含了两个域,一个用于数据存储,一个指向下一个节点,而最后一个节点指向None。单向链表只可以往一个方向遍历,这也是名字的由来。实践代码:# -*- encoding: utf-8 -*-"""@File : singleLin转载 2020-06-16 20:01:12 · 211 阅读 · 0 评论 -
python版Leetcode刷题:两数之和
整了个idea的leetcode插件,方便刷题,记录下刷的第一题!三种方法中最后一个是最开始想出来的,后来修改nums之后发现不能返回,就有了1和2两种方法!题目中有说明:假设每种输入只会 对应一个答案。有想法的朋友可以自己实现一下。# 给定一个整数数组 nums 和一个目标值 target,请你在该数组中找出和为目标值的那 两个 整数,并返回他们的数组下标。 # # 你...转载 2020-04-18 00:48:57 · 279 阅读 · 0 评论 -
python之math模块的使用方法详解
函数 说明 实例 math.e 自然常数e >>> math.e2.718281828459045 math.pi 圆周率pi >>> math.pi3.141592653589793 math.degrees(x) 弧度转度 >>> math.degrees(math.pi)180.0 math.radians(x) 度转弧度 >&g...转载 2018-05-08 18:24:00 · 7002 阅读 · 0 评论 -
sys.stdin读取数据
用python尝试了几天的算法题,发现在用sys.stdin读取数据的时候很容易出错,就是while循环和for循环的区别。看下例子(对于输入的一个整数,希望得到整数值。例如:输入31,最后得到的结果为31):使用while循环:继续看for循环:可以发现,使用for循环是对每一行数据都进行迭代...转载 2018-05-15 16:38:28 · 5019 阅读 · 0 评论 -
CentOS下安装Anaconda3详细步骤(实现python2和python3共存)
一:Anaconda的安装安装过程中会有两次提示选择yes/no,都选yes就ok。【安装完anaconda,修改~/.bash_profile文件,添加anaconda的bin目录到PATH中(如果最后一个提示你yes/no,选择yes就不需要更改)】然后重开一个terminal终端,你会发现,Centos自带的python2和python3是共存的。二:A...原创 2018-05-15 18:32:09 · 11564 阅读 · 1 评论 -
python max函数中使用key
代码:a = dict(((1,3),(0,-1),(3,21)))m = max(a, key=a.get)为什么这返回与最大值对应的键?字典“a”是python中的一个可迭代的结构。当您在a中循环使用x时,您将循环使用字典中的键。在第二行中,max函数有两个参数:一个可迭代对象(a)和一个可选的“key”函数。 Key功能将用于评估a中最大的项目的值。例子:>>...原创 2018-12-20 17:57:47 · 19903 阅读 · 1 评论 -
用python实现Hive中的UDF函数
简介Hive为我们提供了众多的内置函数,但是在实际的运用过程中仍然不能满足我们所有的需求.hive是用java开发的,本身提供了使用java去开发UDF的方式.而这里我们采用python的方式去实现UDF函数.DEMO实现我们这里用python自定义函数,去实现一个方法,利用身份证号去判断性别(18位身份证的倒数第二位偶数为女,奇数为男.15位身份证的倒数第一位偶数为女,奇数为男.)....转载 2018-05-10 11:59:47 · 19656 阅读 · 10 评论 -
python中去如何去除掉不想要的字符串
问题: 过滤用户输入中前后多余的空白字符 ‘ ++++abc123--- ‘ 过滤某windows下编辑文本中的’\r’: ‘hello world \r\n’ 去掉文本中unicode组合字符,音调 "ZhàoQiánSūnLǐZhōuWúZhèngWáng"如何解决以上问题? 去掉两端字符串: strip(), ...原创 2018-04-17 19:28:25 · 6626 阅读 · 0 评论 -
Python 将图片转化为 HTML 页面
PIL 图像处理库PIL(Python Imaging Library) 是 Python 平台的图像处理标准库。不过 PIL 暂不支持 Python3,可以用 Pillow 代替,API是相同的。安装 PIL 库如果你安装了 pip 的话可以直接输入pipinstallPIL 命令安装 Pillow。或者在 PyCharm 中打开 [File] >> [settings...原创 2018-04-18 11:48:05 · 4233 阅读 · 0 评论 -
python 给一个数组 nums 写一个函数将 0 移动到数组的最后面,非零元素保持原数组的顺序
给一个数组 nums 写一个函数将 0 移动到数组的最后面,非零元素保持原数组的顺序注意事项1.必须在原数组上操作2.最小化操作数样例给出 nums = [0, 1, 0, 3, 12], 调用函数之后, nums = [1, 3, 12, 0, 0].解答对于这道题我最开始用的方法很快速。。就是用Python先筛一圈不为零的,然后再筛一圈为零的【个数】,添加在后头。不过报错了。后来想明白报错...原创 2018-04-18 14:57:15 · 4445 阅读 · 9 评论 -
python3连接mysql数据库
环境:windows10 + pycharm + mysql + python3前言: 在我写一个爬虫项目的时候,发现会经常遇到连接数据库的操作,就想写成一个类,用的时候就方便多了。。。 本人新手,有什么好的想法建议,请在评论区发表~~谢谢~~代码:# encoding=utf-8# Time : 2018/4/22# Email : z2615@163.com# So...原创 2018-04-22 22:35:43 · 1038 阅读 · 0 评论 -
python爬虫之scrapy爬取豆瓣电影(练习)
开发环境:windows+pycharm+MongoDB+Scrapy任务目标:任务目标:爬取豆瓣电影top250,将数据存储到MongoDB中。items.py文件# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# http://doc.scrap...转载 2018-04-19 22:14:16 · 758 阅读 · 0 评论 -
Python爬虫Scrapy:下载中间件设置
还是豆瓣top250爬虫的例子,添加下载中间件,主要是设置动态Uesr-Agent和代理IPScrapy代理IP、Uesr-Agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制,我们在settings.py同级目录下创建middlewares.py文件,包装所有请求。middlewares.py# -*- coding: utf-8 -*-import randomi...转载 2018-04-19 22:49:42 · 704 阅读 · 0 评论 -
python实现Spark(Hive) SQL中UDF的使用
相对于使用MapReduce或者Spark Application的方式进行数据分析,使用Hive SQL或Spark SQL能为我们省去不少的代码工作量,而Hive SQL或Spark SQL本身内置的各类UDF也为我们的数据处理提供了不少便利的工具,当这些内置的UDF不能满足于我们的需要时,Hive SQL或Spark SQL还为我们提供了自定义UDF的相关接口,方便我们根据自己的需求进行扩展...转载 2018-05-10 11:55:58 · 2700 阅读 · 0 评论 -
Python中的三目运算符(三元表达式)
一般支持三目运算符的语言(如C语言)的语法格式一般是这样的:判断条件(返回布尔值)?为真时的结果:为假时的结果比如:x = x%2==1 ? x+1:x;python并不支持? :这种符号所表达的先判断再选择的含义,但仍然有相应的语法支持:1. Python 的语法支持为真时的结果 if 判断条件 else 为假时的结果(注意,没有冒号)顺序略有不同,x =...原创 2018-04-16 18:56:28 · 49399 阅读 · 2 评论