- 博客(135)
- 收藏
- 关注
RSS订阅原创 Python正则表达式操作文本数据
什么是正则表达式正则表达式，是简单地字符的序列，可指定特定的搜索模式。正则表达式已存在很长一段时间，并且它本身就是计算机科学的一个领域。在 Python中，使用Python的内置re模块处理正则表达式操作 。在本节中，我将介绍创建正则表达式并使用它们的基础知识。您可以使用以下步骤实现正则表达式：指定模式字符串。将模式字符串编译为正则表达式对象。使用正则表达式对象在字符串中搜索模式。...
2019-09-30 21:59:59
203
原创 利用Python爬取的数据存入Excel表格
分析要爬取的内容的网页结构：demo.py:import requests #requests是HTTP库import refrom openpyxl import workbook # 写入Excel表所用from openpyxl import load_workbook # 读取Excel表所用from bs4 import BeautifulSoup as bs ...
2019-09-30 21:59:57
6962
原创 爬虫数据库一些简单的设计逻辑
场景：爬取某商城的部分商品。队列设计这里至少需要爬取2种资源，一种是商品列表，一种是商品信息。所以要设计1条队列，保存商品信息URL。爬虫1定期爬前N个列表页 URL，把里面的商品信息URL爬下来，保存到队列里。爬虫2定期从队列中抽出商品信息URL，爬取商品信息，爬完后把该URL移出队列。所以呢，简单来说，只要有2张表就行了，一张保存队列信息，一张保存商品信息。何时停止问题为了避免...
2019-09-30 21:59:55
331
原创 java语法和python语法的区别
基础字符串和列表元组集合条件控制总结python语法由于没有类型限制和符号限制，比java语法更加简洁。但是作为一个java程序员，如果要习惯这种无类型，无符号的编程需要时间。...
2019-09-30 21:55:20
124
原创 python对象引用，可变性和垃圾回收
对象引用和可变性变量不是盒子，而是‘便利贴’>>> a = [1,2,3]>>> b = a>>> a.append(5)>>> a[1, 2, 3, 5]>>> b[1, 2, 3, 5]变量的赋值方式：比如x = 2是将一个变量s分配给一个对象比如整数2。而不是把整数对象2分配给变量...
2019-09-30 16:57:29
139
原创 使用python实现8大排序算法
一、冒泡排序冒泡排序算法的运作如下：比较相邻的元素。如果第一个比第二个大，就交换他们两个。对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。这步做完后，最后的元素会是最大的数。针对所有的元素重复以上的步骤，除了最后一个。持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。以上节选自维基百科代码实现：def bubble_sort(numberlist):...
2019-09-30 16:54:08
235
1
原创 Python3的高阶函数：map,reduce,filter
函数的参数能接收变量，那么一个函数就可以接收另一个函数作为参数，这种函数就称之为高阶函数。注意其中：map和filter返回一个惰性序列，可迭代对象，需要转化为list>>> a = 3.1415>>> round(a,2)3.14>>> a_round = round>>> a_round(a,2)3.14&...
2019-09-30 16:51:50
104
原创 Python一行代码搞定炫酷可视化，就用这个工具！
学过Python数据分析的朋友都知道，在可视化的工具中，有很多优秀的三方库，比如matplotlib，seaborn，plotly，Boken，pyecharts等等。这些可视化库都有自己的特点，在实际应用中也广为大家使用。plotly、Boken等都是交互式的可视化工具，结合Jupyter notebook可以非常灵活方便地展现分析后的结果。虽然做出的效果非常的炫酷，比如plotly，但是每一...
2019-09-30 16:47:21
1349
原创 利用Python爬取小米有品的信息
说明爬取小米有品：把两个链接放到了一起，运行一次就可以全部获取（约700）使用的是selenium+chrome+lxml的组合（也很快，因为就一个页面）输出：程序会生成三个文件，两个csv和一个xlscsv体积小巧，通用性强data_mi.csv使用utf-8编码data_mi-gbk.csv使用gbk编码xls就是excel的格式（gbk是中文编码，可以只用exce...
2019-09-30 16:46:11
766
原创 利用Python爬取工控行业系统漏洞
先贴连接，让各位观众老爷看看，对不对你们的胃口工控行业系统漏洞可以看到，这个网页是html静态的，所以问题变的非常的简单只需要用request请求网页就可以了话不多说，直接贴代码import requestsfrom urllib.parse import urlencodefrom lxml import etreeimport pymysqlimport timeimpo...
2019-09-27 21:59:54
710
原创 利用Python爬取京东生鲜的商品数据和评论数据
首先简明，爬取 商品数据 采用selenium操作chrome模拟浏览器动态渲染页面+ajax加载评论具体的看下面的说明所需内容：商品小分类名称（苹果，橙子等）商品名称（烟台红富士苹果 5kg 一级铂金大果 单果230-320g 新鲜水果）商品总评论数量商品好评率评论星级评论长度评论点赞数量评论回复数量评论文本内容评论者等级评论发表距抓取的天数（days）抓取部分带...
2019-09-27 21:59:53
2072
1
原创 利用python读取并显示图片的各种方式（Pillow、matplotlib、opencv）
这里列举三种方式Pillow 官网文档： https://pillow.readthedocs.io…matplotlib 官方文档： https://matplotlib.org/opencv 官方文档： https://docs.opencv.org/3.3.0…简单示例1.Pillowfrom PIL import Imageimg=Image.open('girl.jp...
2019-09-27 21:59:52
971
原创 使用Python生成数据
使用python原生函数使用range函数可创建一个整数列表list = range(10) # 从0开始到10 : [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]print([i for i in list])print([i*1 for i in list]) # 使用for循环range(1, 11) # 从 1开始到11: [1, 2, 3, 4, 5, ...
2019-09-27 21:59:51
518
原创 用Python一键分析你的上网行为, 看看你平时上网都在干嘛?
想看看你最近一年都在干嘛？看看你平时上网是在摸鱼还是认真工作？想写年度汇报总结，但是苦于没有数据？现在，它来了。这是一个能让你了解自己的浏览历史的Chrome浏览历史记录分析程序，当然了，他仅适用于Chrome浏览器或者以Chrome为内核的浏览器。在该页面中你将可以查看有关自己在过去的时间里所访问浏览的域名、URL以及忙碌天数的前十排名以及相关的数据图表。部分截图代码思路1. 目录结...
2019-09-27 21:43:51
176
原创 用Python一键生成微信个人专属数据报告,了解你的微信社交历史
简介你是否想过生成一份属于你的微信个人数据报告，了解你的微信社交历史。现在，我们基于python对微信好友进行全方位数据分析，包括：昵称、性别、年龄、地区、备注名、个性签名、头像、群聊和公众号等。其中，在分析好友类型方面，主要统计出你的陌生人、星标好友、不让他看我的朋友圈的好友、不看他的朋友圈的好友数据。在分析地区方面，主要统计所有好友在全国的分布以及对好友数最多的省份进行进一步分析。在其他方...
2019-09-27 21:20:04
325
原创 100行Python代码，每天不同时间段定时给女友发消息
每天不同时间段通过微信发消息提醒女友简介有时候，你很想关心她，但是你太忙了，以至于她一直抱怨，觉得你不够关心她。你暗自下决心，下次一定要准时发消息给她，哪怕是几句话，可是你又忘记了。你觉得自己很委屈????，但是她又觉得你不负责。现在，再不用担心了，用python就可以给女友定时发提示消息了，而且不会漏过每一个关键时刻，每天早上起床、中午吃饭、晚上吃饭、晚上睡觉，都会准时发消息给她了，而且还可以让...
2019-09-27 21:19:59
382
原创 不使用Python爬虫框架，多线程+代理池爬取天天基金网、股票数据
提到爬虫，大部分人都会想到使用Scrapy工具，但是仅仅停留在会使用的阶段。为了增加对爬虫机制的理解，我们可以手动实现多线程的爬虫过程，同时，引入IP代理池进行基本的反爬操作。本次使用天天基金网进行爬虫，该网站具有反爬机制，同时数量足够大，多线程效果较为明显。技术路线IP代理池多线程爬虫与反爬编写思路首先，开始分析天天基金网的一些数据。经过抓包分析，可知：./fundcod...
2019-09-27 21:19:57
358
原创 用Python一键生成属于自己的QQ历史报告，看看你对自己的QQ了解程度有多深?
一键生成属于自己的QQ历史报告，看看你对自己的QQ了解程度有多深?简介近几年，由于微信的流行，大部分人不再频繁使用QQ，所以我们对于自己的QQ数据并不是特别了解。我相信，如果能够生成一份属于自己的QQ历史报告，那将是无比开心的一件事。目前网上关于QQ的数据分析工具较少，原因是QQ相关接口比较复杂。而本程序的运行十分简单，具有良好的用户交互界面，只需要扫码登录一步操作即可。目前本程序获取的数...
2019-09-27 21:19:52
216
原创 Pycharm超级好用的快捷键——效率之王
#最重要的快捷键ctrl+shift+A:万能命令行shift两次:查看资源文件#新建工程第一步操作module设置把空包分层去掉,compact empty middle package设置当前的工程是utf-8,设置的Editor–>File Encodings–>全部改成utf-8,#注释ctrl+/:单行注释#光标操作ctrl+alt+enter:...
2019-09-23 21:59:46
243
原创 利用Python实现语音识别功能，只需3个步骤！
调用科大讯飞语音听写，使用Python实现语音识别，将实时语音转换为文字。首先在官网下载了关于语音听写的SDK，然后在文件夹内新建了两个.py文件，分别是get_audio.py和iat_demo.py，并且新建了一个存放录音的文件夹audios，文件夹内存放录音文件input.wav，我的整个文件目录如下：asr_SDK(文件名)├─ Readme.html├─ audios│ ...
2019-09-21 21:59:46
9397
2
原创 Python系列（四）python元组与字典
本文目录：一、元组 | 二、字典 | 三、字典的使用方法前言：列表非常适合用于存储在程序运行期间可能变化的数据集。列表是可以修改的，这对处理网站的用户列表或游戏中的角色列表至关重要。然而，有时候你需要创建一些列不可修改的元素，元组就可以满足你这样的需求。Python将不能修改的值称为不可变的，而不可变的列表就被称为元组。正文部分：一、元组1、元组的概念元组：（tuple），有序列表叫元...
2019-09-21 21:59:45
218
原创 Python系列（三）python列表详解
本博文阅读目录：1）len函数//查看列表的个数2）序列[索引号] //查看索引号对应的元素3）在list中追加元素到末尾list.append(“元素”)4）把元素插入到指定的位置 list.insert(索引号，“元素”)5）删除list末尾元素list.pop（）和指定索引号元素 list.pop（i）6）把某个元素替换成别的元素 list[索引号]=“赋值内容”7）list定...
2019-09-21 21:59:37
251
原创 Python系列（二）python变量赋值与运算符
本博文阅读目录：1、什么是变量？2、命名规则3、变量赋值在内存中的原理4、输入与输出[input raw_input,print]5、常量6、常用数据类型[整数，浮点数，布尔值，空值]7、字符串与字符串格式化[%s,%d,%f,%x ]8、编码 [ASCII,unicode,UTF-8]9、注释 [#,’’’]10、python算术运算符 [+,-,*,/,//,%,**]1...
2019-09-21 21:59:36
546
原创 Python系列（一）python简介、安装与基本应用
思路介绍安装itchat—>编辑代码Step1: 安装itchat同时按win和r键，进入如下界面，输入cmd单击确认，弹出黑窗口，在弹出的黑窗口内输入pip install itchat回车后会自动下载。若出现如下情况，表示需要对pip升级：按照上图中的提示，输入python -m pip install –upgrade pip,回车，即升级pip然后输入pip i...
2019-09-21 21:59:35
111
原创 Python深度学习，手把手教你实现「以图搜图」
随着深度学习的崛起，极大的推动了图像领域的发展，在提取特征这方面而言，神经网络目前有着不可替代的优势。之前文章中我们也介绍了图像检索往往是基于图像的特征比较，看特征匹配的程度有多少，从而检索出相似度高的图片。而检测图像特征，VGG16具有得天独厚的优势。接下来本文将会通过一个简单的案例来实现一个基于深度学习的图像检索小工具。准备工作老样子，先来准备好我们此次需要使用到的工具：IDE：P...
2019-09-20 21:59:58
4224
4
原创 用Python生成与众不同的二维码，神库：qrcode
一、介绍1.1 二维码二维码又称二维条码，常见的二维码为 QR Code，QR 全称 Quick Response。是一个近几年来移动设备上超流行的一种编码方式，在现在的生活中二维码随处可见。我们可以用它支付、浏览网站等，为什么他会这么流行？下面说几个特点：可存储的信息量大：可容纳多达 1850 个大写字母或 2710 个数字或 1108 个字节或 500 多个汉字。容错能力强：具有纠错...
2019-09-20 21:59:55
670
原创 python读写Excel，擅用xlwt模块
在处理各种.xlsx表格的数据处理和计算的工作，目前python用于操作表格的模块有很多，功能各有千秋。本文主要讲的是xlwt用于写，xlrt用于读。表格写入简单的写入功能可用xlwt模块，写入功能的难点在于写入合并的单元格。单元格的下标都是从0开始。xlwt官方API：https://xlwt.readthedocs.io/e…安装：pip install xlwt新建wo...
2019-09-20 21:59:54
277
原创 一个永久使用pycharm专业版的绝妙方法！
刚开始接触Python，首先要解决的就是Python开发环境的搭建。目前比较好用的Python开发工具是PyCharm，他有社区办和专业版两个版本，但是社区版支持有限，我们既然想好好学python，那肯定得用专业的不是。但他专业版要么只能试用一个月，要么就是 $ ，身为猿军中的一员怎么能让他们这些小伎俩阻碍了我们继续前进的步伐呢？所以我在度娘的引导下，一步步实现了PyCharm的永久使用（虽...
2019-09-20 21:59:49
8877
原创 Python3中True、False、None等含义详解
概述在Python中，不仅仅和类C一样的真假类似，比如1代表真，0代表假。Python中的真假有着更加广阔的含义范围，Python会把所有的空数据结构视为假，比如[](空列表)、{}（空集合）、''（空字符串）等，而与之相反的非空数据结构即为真简单对比代码：# 遍历列表中的示例元素，获取对应的真假：for elenment in ['', 'S', [], [1, 2], {}, {3, ...
2019-09-19 20:59:58
3464
原创 Python存储字符串时，是如何节省空间的？
从 Python 3 开始，str 类型代表着 Unicode 字符串。取决于编码的类型，一个 Unicode 字符可能会占 4 个字节，这个有些时候有点浪费内存。出于内存占用以及性能方面的考虑，Python 内部采用下面 3 种方式来存储 Unicode 字符：一个字符占一个字节（Latin-1 编码）一个字符占二个字节（UCS-2 编码）一个字符占四个字节（UCS-4 编码）使用 P...
2019-09-19 20:59:53
354
原创 先学Python还是Java？看完就有数了
准备学习编程前，你一定会打开电脑搜索一下“先学Python还是先学Java？”扑面而来的是海量回答。如果你问一名Java程序员，肯定会建议你先学Java，因为他们认为Python像个乳臭未干的黄毛小子。但如果你问Python程序员，可能会得到一个完全相反的答案，他们认为Java是刻板啰嗦的老大爷，而人生苦短，我用Python。但别担心，今天我们将会从语言特色学习曲线职业方向市场需求...
2019-09-19 20:59:51
406
原创 Python开发植物大战僵尸游戏，面试加分项！
1.引入需要的模块，配置图片路径，设置界面宽高背景颜色，创建游戏主入口。#1引入需要的模块import pygameimport random#1配置图片地址IMAGE_PATH = 'imgs/'#1设置页面宽高scrrr_width=800scrrr_height =560#1创建控制游戏结束的状态GAMEOVER = False#1主程序class MainGame...
2019-09-19 20:59:51
484
原创 数据分析告诉你：为啥近5年来Python如此火爆？
我们最近讨论过，那些被世界银行定义为高收入水平的发达国家，在选择使用什么类型的技术方面，和世界上的其他地方往往有着较大的区别。这类区别中，差异最大的例子之一，就是 Python 编程语言。如果只统计高收入国家的数据，这几年间 Python 的增长量远超过诸如 StackOverflow 趋势工具中显示的全球软件开发工具的增长情况。今天，我们将深入挖掘一下近五年里 Python 编程语言爆炸性增...
2019-09-19 20:59:48
209
原创 Python入门学习以及面试总结，123456点
1.学习方向Python分以下几个方向：后端开发熟悉MVC架构，精通Django、Tornada、Flask框架网络爬虫熟练使用requests、Scrapy，了解多线程、多进程、网络通信编程等相关知识科学计算精通Pandas、Numpy、Matplotlib等，熟悉数据结构和算法机器学习掌握scikit-learn，掌握Python数据分析、挖掘和建模选择自己感兴趣的方向，确...
2019-09-18 17:06:20
130
原创 入门到专业程序员都在做Python爬虫，知道为什么吗？
Python 可以用来做什么？基本上可以不负责任地认为，Python 可以做任何事情。无论是从入门级选手到专业级选手都在做的爬虫，还是Web 程序开发、桌面程序开发还是科学计算、图像处理，Python都可以胜任。或许是因为这种万能属性，周围好更多的小伙伴都开始学习Python。 Python 现在到底有多热呢？让我们一起看看以下的这2组数据。第一：Python 排名稳居前五得益于 Pyth...
2019-09-18 17:06:17
210
原创 用python爬取表情包后，室友们都甘拜下风了！
是这样的有一次想要斗图配图就在网上搜索表情包然后发现了一个表情巨多的网站不小心动起了邪念产生了兴趣那就把它们存下来吧用 requests 请求了一下发现这个网站没有做反爬发现这里有 4k+ 的页面简单的切换一下页面可以发现第一页的链接是这样的https://fabiaoqing.com/biaoqing/lists/page/1.html所以以此类推构建一下...
2019-09-18 17:00:00
492
原创 自学Python，学了到底能做什么？
Python的热度一直高居不下，除了简单易学之外，落地到应用层面也有很多方向，运维，自动化测试，后端开发，机器学习…更接地气的是Python在数据分析领域的表现：使用Python数据分析进行实战案例研究“人生苦短，我用Python”，各个行业都会有大量的数据需要处理，Python在数据处理领域有着得天独厚的优势，调用matplotlib库用几行代码快速整理数据并出图：调用matplotl...
2019-09-18 16:59:58
300
原创 Python的14年演变，它是如何登顶最热门语言！
Python 里各种丰富的标准库、第三方库和模块成为其广受欢迎的原因之一。而 PyPI 就是大家想第三方库前先要安装的一个仓库。作为使用者，它可以帮我们查找 Python 社区开发和共享的软件；而作为开发者，可以用 PyPI 分发自己的软件。从 2003 年创建 PyPI 到现在，整个社区又是如何发展的？现状如何？有哪些有趣的发现，本文将与大家一起进行初步探索。构建 PyPI 镜像一件非常酷的事...
2019-09-18 16:59:56
119
原创 Python正则表达式终结篇
1. 正则表达式语法1.1 字符与字符类1 特殊字符：.^$?+*{}|以上特殊字符要想使用字面值，必须使用进行转义2 字符类1. 包含在[]中的一个或者多个字符被称为字符类，字符类在匹配时如果没有指定量词则只会匹配其中的一个。2. 字符类内可以指定范围，比如[a-zA-Z0-9]表示a到z，A到Z，0到9之间的任何一个字符3. 左方括号后跟随一个，表示否定一个字符类，比如[0-9]...
2019-09-18 15:00:01
386
原创 写一手漂亮的Python函数代码，你缺少这些技巧！
与多数现代编程语言一样，在 Python 中，函数是抽象和封装的基本方法之一。你在开发阶段或许已经写过数百个函数，但并非每个函数都生而平等。写出「糟糕的」函数会直接影响代码的可读性和可维护性。那么，什么样的函数是「糟糕的」函数呢？更重要的是，要怎么写出「好的」函数呢？简单回顾数学中充满了函数，尽管我们可能记不住它们。首先来回忆一下大家最喜欢的话题——微积分。你可能记得这个方程式： f(x) =...
2019-09-18 14:59:59
162
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人