![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
IT-编程语言-Python
LarryHai6
一直致力于开源技术和软件架构实践,追求业务和技术的最佳实践
| 个人的专业领域包括 大型分布式系统/应用架构设计 云原生架构设计 微服务架构设计 Agile和DevOps最佳实践 DDD设计方法论 数据建模与分析 | 联系方式: 邮件: liuhaidl9@163.com
展开
-
Python 2.7.x 和 3.x 版本的重要区别
许多Python初学者都会问:我应该学习哪个版本的Python。对于这个问题,我的回答通常是“先选择一个最适合你的Python教程,教程中使用哪个版本的Python,你就用那个版本。等学得差不多了,再来研究不同版本之间的差别”。但如果想要用Python开发一个新项目,那么该如何选择Python版本呢?我可以负责任的说,大部分Python库都同时支持Python 2.7.x和3.x版本的,所以不转载 2017-01-10 13:35:41 · 543 阅读 · 0 评论 -
python 编码问题:'ascii' codec can't encode characters in position 的解决方案
报错:'ascii' codec can't encode characters in position 8-50: ordinal not in range(128)python在安装时,默认的编码是ascii,当程序中出现非ascii编码时,python的处理常常会报这样的错UnicodeDecodeError: 'ascii' codec can't decode byte 0x??...转载 2019-01-15 20:54:51 · 8367 阅读 · 2 评论 -
搜索引擎爬虫蜘蛛的User-Agent收集
百度爬虫 * Baiduspider+(+http://www.baidu.com/search/spider.htm”)google爬虫 * Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) * Googlebot/2.1 (+http://www.googlebot.com...转载 2019-01-15 20:58:01 · 1453 阅读 · 0 评论 -
怎么使用 python3 requests模块详解
怎么使用 python3 requests模块详解1、模块说明requests是使用Apache2 licensed 许可证的HTTP库。用python编写。比urllib2模块更简洁。Request支持HTTP连接保持和连接池,支持使用cookie保持会话,支持文件上传,支持自动响应内容的编码,支持国际化的URL和POST数据自动编码。在python内置模块的基础上进行了...转载 2019-01-15 22:26:21 · 1052 阅读 · 0 评论 -
[好文!!!]pyecharts实现星巴克门店分布可视化分析
pyecharts实现星巴克门店分布可视化分析项目介绍使用pyecharts对星巴克门店分布进行可视化分析:全球门店分布/拥有星巴克门店最多的10个国家或地区; 拥有星巴克门店最多的10个城市; 门店所有权占比; 中国地区门店分布热点图。数据背景该数据集来源Kaggle,囊括了截至2017/2月份全球星巴克门店的基础信息,其中包括品牌名称、门牌地址、所在国家、经纬度等一系列...转载 2019-01-22 09:15:52 · 1942 阅读 · 1 评论 -
带你认识几种最流行的Python编辑器/IDEs
带你认识几种最流行的Python编辑器/IDEsKDnuggets最近的一个博客发起了一项投票:数据科学中最好用的Python IDE是什么?该投票发布后收到了很多意见和评论。为了解答谁是最流行的Python IDE的世纪争论,我们投票的问题如下: 2018年你使用最多的Python IDEs是什么? 本次调查共有1900多人参与,调查结果如下图1所示。前5个选择是:...转载 2019-01-22 09:25:05 · 764 阅读 · 0 评论 -
Python实时爬取斗鱼弹幕
Python实时爬取斗鱼弹幕实现目标:输入斗鱼房间号实时获取弹幕信息,实现效果如下:douyu.gif逻辑梳理首先说明下斗鱼是开放了弹幕API的,可以直接去他们开发者论坛查看文档,按照文档中要求一步一步的来就好了,我这边就简单梳理下: 建立两个线程:一个与弹幕服务器建立连接然后获取数据,一个定时发送心跳信息给弹幕服务器保持连接。建立连接通过TCP协议连接到弹幕服务器...转载 2019-01-22 09:54:33 · 2494 阅读 · 1 评论 -
Python爬取猫眼「碟中谍」全部评论
实现目标昨天晚上看完碟中谍后,有点小激动,然后就有了这片文章。我们将猫眼上碟中谍的全部评论保存下来,用于后期分析~总共评论3W条左右。逻辑梳理 猫眼PC网页只能查看热门评论,只有在手机端页面才能查看全部评论。我们用chrome手机模式打开碟中谍6的页面,然后找到了全部评论入口: 当我们将评论页面向上拖,后台请求中变看到了我们想要的接口地址:http://...转载 2019-01-22 10:05:54 · 413 阅读 · 0 评论 -
Python网络爬虫 - Phantomjs, selenium/Chromedirver使用
json模块 什么是json? javascript中的对象和数组 对象 :{key:value} 取值:对象名.key 数组 :[...,...] 取值:数组[索引值] 作用 json格式的字符串 和 Python数据类型 之间的转换 常用方法 json.loads() : json格式 --&g...转载 2019-01-22 11:18:32 · 377 阅读 · 0 评论 -
Python爬虫利器之Xpath语法与lxml库的用法
Python爬虫利器之Xpath语法与lxml库的用法前言前面我们介绍了 BeautifulSoup 的用法,这个已经是非常强大的库了,不过还有一些比较流行的解析库,例如 lxml,使用的是 Xpath 语法,同样是效率比较高的解析方法。如果大家对 BeautifulSoup 使用不太习惯的话,可以尝试下 Xpath。参考来源lxml用法源自 lxml python 官方文档,更多...转载 2019-01-16 19:54:05 · 345 阅读 · 0 评论 -
Python词云库wordcloud中文显示问题详解
Python词云库wordcloud中文显示问题详解背景:wordcloud是基于Python开发的词云生成库,功能强大使用简单。github地址:https://github.com/amueller/word_cloudwordcloud默认是不支持显示中文的,中文会被显示成方框。这里写图片描述安装:方法一:pip3 install wordcloud方法二...转载 2019-01-23 13:12:04 · 3602 阅读 · 0 评论 -
python读写json文件
python读写json文件JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。 JSON采用完全独立于语言的文本格式,但是也使用了类似于C语言家族的习惯(包括C、C++、Java、JavaScript、Perl、Python等)。这些特性使JSON成为理想的数据交换语言。易于人阅读和编写,同时也易于机器解析和生成...转载 2019-01-14 23:20:14 · 182 阅读 · 0 评论 -
Python open()函数用法详解
Python open()函数用法详解哟,写bug呢??Python open()函数用法详解一、文件操作的流程:#1. 打开文件,得到文件句柄并赋值给一个变量#2. 通过句柄对文件进行操作#3. 关闭文件具体步骤如下:f=open('test.txt',encoding='utf-8') #打开文件data=f.read() #文件操作...原创 2019-01-14 22:03:45 · 5839 阅读 · 2 评论 -
Python的变量作用域
变量作用域 Python 中,程序的变量并不是在哪个位置都可以访问的,访问权限决定于这个变量是在哪里赋值的。 变量的作用域决定了在哪一部分程序可以访问哪个特定的变量名称。Python的作用域一共有4种,分别是:L (Local) 局部作用域 E (Enclosing) 闭包函数外的函数中 G (Global) 全局作用域 B (Built-in) 内建作用域以 L –>...转载 2019-01-20 08:44:17 · 201 阅读 · 0 评论 -
使用python的Flask实现一个RESTful API服务器端[翻译]
最近这些年,REST已经成为web services和APIs的标准架构,很多APP的架构基本上是使用RESTful的形式了。本文将会使用python的Flask框架轻松实现一个RESTful的服务。REST的六个特性:Client-Server:服务器端与客户端分离。Stateless(无状态):每次客户端请求必需包含完整的信息,换句话说,每一次请求都是独立的。Cacheable转载 2017-01-10 14:20:54 · 738 阅读 · 0 评论 -
Python3 urllib库和requests库
1. Python3 使用urllib库请求网络1.1 基于urllib库的GET请求请求百度首页www.baidu.com ,不添加请求头信息: 1 import urllib.requests 2 3 4 def get_page(): 5 url = 'http://www.baidu.com/' 6 res = urllib.request.ur...转载 2019-01-03 22:19:47 · 305 阅读 · 0 评论 -
Python系列之 - Mac安装python3.x版本
Mac安装python3.x版本本文给出了python3.x版本在Mac上安装的详细步骤。 Mac自带Python,有些软件的运行可能需要用到2.X的版本,而3的版本与2的版本区别甚大,作为python 开发还是需要安装最新的3.x版本1. 查看本机默认安装环境通过uname -a 查看系统位数,x86_64代表64位.使用python -V 命令查看系统默认版本 OSX默认安装...原创 2019-01-03 23:34:49 · 1165 阅读 · 0 评论 -
Python系列之 - 怎么用urllib.request模块下载hao123html主页
Python系列之 - 怎么用urllib.request模块下载hao123html主页下载hao123 html主页代码片段如下:import urllib.request def getHtml(url): html = urllib.request.urlopen(url).read() return htmldef saveHtml(file_name,...原创 2019-01-03 23:54:19 · 352 阅读 · 0 评论 -
Python系列之 - 入门基础知识笔记
冯诺依曼架构 控制器 运算器 存储器 输入设备 (I) 输出设备 (O) CPU——控制器,运算器 # 运算器只与内存交换数据 内存——存储器 硬盘——输入设备,输出设备(向存储器输入数据,写入存储器输出的数据) 键盘,鼠标——输入设备(向计算机输入指令 显示器,打印机,音响等——输出设备冯诺依曼体系pyth...转载 2019-01-04 08:47:04 · 181 阅读 · 0 评论 -
Scrapy入门教程之详细介绍和一个很好的例子
Scrapy入门教程之详细介绍和一个很好的例子Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了...转载 2019-01-04 09:57:43 · 529 阅读 · 0 评论 -
Python之 - 学习分类导航
转载 https://blog.csdn.net/qq_40147863/article/details/85303579Python 分类导航/Python 爬虫 Python爬虫教程-01-爬虫介绍 Python爬虫教程-02-使用urlopen Python爬虫教程-03-使用 chardet 检测编码 Python爬虫教程-04-response简介...转载 2019-01-05 08:25:00 · 592 阅读 · 0 评论 -
python爬虫scrapy之downloader_middleware设置proxy代理
python爬虫scrapy之downloader_middleware设置proxy代理一、背景: 小编在爬虫的时候肯定会遇到被封杀的情况,昨天爬了一个网站,刚开始是可以了,在settings的设置DEFAULT_REQUEST_HEADERS伪装自己是chrome浏览器,刚开始是可以的,紧接着就被对方服务器封杀了。代理: 代理,代理,一直觉得爬去网页把爬去速度放慢一点就能基...转载 2019-01-11 23:06:55 · 1999 阅读 · 0 评论 -
Python 彻底甩掉 Java,位居 48 种编程语言之首!
Python 彻底甩掉 Java,位居 48 种编程语言之首!昨日,IEEE Spectrum 杂志发布了一年一度的编程语言排行榜,这个排行榜已经连续发布了五年。对于每位开发者而言,想要衡量编程语言流行度则需要依赖相对流行的网站统计数据。IEEE Spectrum 编程语言排行榜的排序综合了 9 个重要数据源的 11 个指标,诸如 Google Search、Google Trends、T...转载 2019-01-07 21:24:53 · 222 阅读 · 0 评论 -
教你如何系统的自学Python - 纯干货!
教你如何系统的自学Python - 纯干货!Python 的设计哲学之一就是简单易学,体现在两个方面: 语法简洁明了:相对 Ruby 和 Perl,它的语法特性不多不少,大多数都很简单直接,不玩儿玄学。 切入点很多:Python 可以让你可以做很多事情,科学计算和数据分析、爬虫、Web 网站、游戏、命令行实用工具等等等等,总有一个是你感兴趣并且愿意投入时间的。废话不多说...转载 2019-01-08 10:47:01 · 980 阅读 · 0 评论 -
Python 常用静态代码检查工具简介
Python 常用静态代码检查工具简介对于我这种习惯了 Java 这种编译型语言,在使用 Python 这种动态语言的时候,发现错误经常只能在执行的时候发现,总感觉有点不放心。而且有一些错误由于隐藏的比较深,只有特定逻辑才会触发,往往导致需要花很多时间才能将语法错误慢慢排查出来。其实有一些错误是很明显的,假如能在写程序的时候发现这些错误,就能提高工作效率。这时候 Python 静态语法...转载 2019-01-13 17:05:10 · 1149 阅读 · 0 评论 -
Python3.x:定时任务实现方式
Python3.x下实现定时任务的方式有很多种方式。一、循环sleep: 最简单的方式,在循环里放入要执行的任务,然后sleep一段时间再执行。缺点是,不容易控制,而且sleep是个阻塞函数def timer(n): ''''' 每n秒执行一次 ''' while True: print(time.strftime(...转载 2019-02-23 20:39:38 · 348 阅读 · 0 评论