- 博客(107)
- 收藏
- 关注
RSS订阅原创 关于爬虫
一、“大数据时代”，数据获取的方式：企业生产的用户数据：大型互联网公司有海量用户，所以他们积累数据有天然的优势。有数据意识的中小型企业，也开始积累数据。数据管理咨询公司：通常这样的公司有很庞大的数据采集团队，一般会通过市场调研、问卷调查、固定的样本检测，和各行各业的公司进行合作、专家对话（数据积累很多年了，最后得出科研结果）来采集数据。政府/机构提供的公开数据：政府通过各地政府...
2019-06-25 21:20:32
563
1
原创 Matplotlib概览
1.配置环境pip install matplotlib2.执行程序绘图在一文档中写import numpy as npimport matplotlib.pyplot as pltx = np.linspace(0,2*np.pi,100)y1 = np.sin(x)y2 = np.cos(x)plt.plot(x,y1)plt.plot(x,y2)plt.title...
2019-06-04 16:57:08
313
原创 省市间的二级联动
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>二级连动的实现</title></head><body><style> div{ marg...
2019-06-03 23:27:31
2828
转载 Selenium之等待事件
一、为什么要等待现在很多Web应用都在使用AJAX技术.浏览器载入一个页面时，页面内的元素可能是在不同的时间载入的，这会加大定位元素的困难程度，因为元素不在DOM（文档对象模型）里，会抛出ElementNotVisibleException异常，使用waits，我们就可以解决这个问题。Waiting给页面动作的执行提供了一些时间间隔-通常是元素定位或者其他对元素的操作。Selenium W...
2019-05-14 23:19:50
801
原创 利用属性和函数对数组的操作
一.数组的变形1.数组对象的方法reshape2. np的reshape方法3.数组的shape属性进行变形4.将多为数组降成一维flatten（） ，np.reval()或np.ndarray.ravel()5.使用下标完成数组的变形（np.newaxis）...
2019-04-27 21:31:36
200
原创 数组的索引及切片
一.数组的轴这里我们先创建一个三维数组让大家认识一下我们可以看上边的图，将数组所有元素放在一行，一共分三层，第一层有两个大列表（L0，L1）第二层为L0，L1里面的三个小列表L（L00，L01，L02.。。。）第三层则为L00同级列表中的各个整形元素这样看待问题比较复杂，所以Numpy中这样规定：按照从外到内每一层是一个轴，从0开始计数，第一层就是0轴，依次类推每个轴上的元素也是从...
2019-04-24 15:56:39
1317
1
原创 Selenium Python的基本使用
一. selenium的介绍Selenium Python 提供了一个简单的API 便于我们使用 Selenium WebDriver编写 功能/验收测试。 通过Selenium Python的API，你可以直观地使用所有的 Selenium WebDriver 功能Selenium Python提供了一个很方便的接口来驱动 Selenium WebDriver ，例如 Firefox、Chr...
2019-04-23 18:41:10
1008
原创 Mysql数据库用户和访问权限
用户和访问权限的操作1)创建hello用户，可在本机登陆,密码为hellocreate user hello@localhost identified by ‘hello’;另一个shell中登陆该用户创建用户hello,可在远程登陆,密码为hellocreate user hello@’%’ identified by ‘hello’;...
2019-04-14 19:14:49
915
原创 修改Mysql数据库密码
忘记mysql密码问题如何解决1.关闭mariadbsystemctl stop mariadb(shell中)2.跳过授权表mysqld_safe - - skip-grant-table3.打开另一个shell，进入mysql，修改root密码（mysql中），出现下面字样说明修改成功，并退出update mysql.user set Pass...
2019-04-14 19:13:03
146
原创 Numpy之数组对象基础（array）
NumPy系统是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list structure)结构要高效的多（该结构也可以用来表示矩阵（matrix））。一个用python实现的科学计算，包括：1、一个强大的N维数组对象Array；2、比较成熟的（广播）函数库；3、用于整合C/C++和Fortran代码的工具包；4、实用的线性代...
2019-04-09 16:47:41
840
原创 python的字符串格式化输出
一.格式化字符串格式化字符串 是一些程序设计语言在格式化输出API函数中用于指定输出参数的格式与相对位置的字符串参数，例如C、C++等程序设计语言的printf类函数，其中的转换说明（conversion specification）用于把随后对应的0个或多个函数参数转换为相应的格式输出；格式化字符串中转换说明以外的其它字符原样输出。如果将维基百科的定义再通俗化。所谓字符申格式化就是要先...
2019-04-01 18:25:00
4352
原创 如何建立Django项目（博客）
一.Django起步 1.了解Django1.容易学习2.开发速度快3.应用插件众多4.安全性强5.应用领域广泛2.安装Django linux：pip install django == 1.10.1（根据需要自行选择版本）可通过下列代码查看django版本import djangoprint(" django.get_version ...
2019-03-27 21:14:05
202
原创 Django项目中网站配置（settings.py中常用的项）
网站配置常见项1.DEBUG2.ALLOWED_HOSTS = []3.INSTALLED_APPS4.DATABASES5.LANGUAGE_CODE6.TIME_ZONE1.DEBUG1.DEBUG1.DEBUG1.DEBUG1.DEBUG1.DEBUG1.DEBUG
2019-03-23 15:55:56
586
原创 爬取过程中的登录问题
一.cookie模拟登录有些时候需要登录帐号之后才能看到一些数据，所以要想抓取这些数据，就必须先登录，而浏览器主要通过cookie的方式来检验用户的登录状态。有些时候，可以直接通过从浏览器复制cookie到headers来进行模拟登录例如：我想要得到豆瓣的个人中心中的内容，我们首先必须要登录进豆瓣才能看到这些信息。import requestsfrom fake_useragent imp...
2018-12-09 16:38:46
1281
原创 if __name__ == '__main__'解析
相信大家在看别人的python程序时，可能会在大部分的程序后看到标题这段代码，这里解释下它的意义。总的来说，这句代码的作用就是既能保证当前的.py文件直接运行，也能保证其可以作为模块被其他.py文件导入。下面我将通过几个例子帮助大家理解1.pyprint(__name__)我们在1.py中只写了这么一段代码，输出结果为下面代码__main__这说明__name__本身其实就是一个变...
2018-12-04 13:26:03
4195
2
原创 Linux下安装Adobe Flash Player插件（Firefox）
Linux系统上用火狐浏览器看视频的时候发现没有安装adobe flash player插件，无法播放视频。想看得话还得在Linux和Windows间切换。简单几步安装插件，就可以使用linux系统看视频了第一步：打开视频，点击flash插件图标（也就是安装或更新插件），会出现如下界面或者直接访问https://get.adobe.com/flashplayer/?loc=cn出现和上图一样...
2018-12-02 16:39:48
17621
原创 Django详细用法之项目“图书--英雄”
1.数据库配置在settings.py文件中，通过对DATABASES项的更改，可以进行数据库配置。Django支持sqlite、mysql等一些主流数据库，但Django默认的数据库类型为sqlite。（文件数据库） 2.创建应用 一个项目中可以创建一到多个应用 创建应用的命令：pyhton manage.py startapp book 3.定义数据库模型...
2018-11-13 18:10:31
612
原创 Web开发之Django框架
一.Django简介Django是一个开放源代码的Web应用框架，由Python写成。采用了MVC的框架模式，即模型M，视图V和控制器CDjango是一个基于MVC构造python的Web开发框架。但是在Django中，控制器接受用户输入的部分由框架自行处理，所以 Django 里更关注的是模型（Model）、模板(Template)和视图（Views），称为 MTV模式。它们各自的职责如下...
2018-11-12 16:36:49
1194
原创 Flask-Migrate和Flask-Script模块的使用
一.Flask-Migrate1.功能flask-migrate是flask的一个扩展模块,主要是扩展数据库表结构的。2.安装切换到自己的解释器环境，执行下面命令即可安装pip install Flask-Migrate二.Flask-Scipt1.功能flask_script 作用：可以通过命令行的形式来操作Flask，例如通过命令跑一个开发版本的服务器、设置数据库、定时任...
2018-10-30 01:01:23
453
原创 Flask框架中常见的一些问题
1. 如何指定接收多个HTTP请求方法? 我们只需要在写路由时，在路由名后加上一个参数methods，即用列表将你可能使用的方法加入即可。@app.route('/login/', methods=['GET', 'POST'])2. 如何判断用户请求的HTTP方法? 需要导入request模块，并用其中的method方法就可以if request.method == 'POS...
2018-10-24 18:04:58
2762
原创 Flask框架
一.Flask介绍 Python 中有许多 Web 开发框架,比如 Django,Flask,Tornado,Bottle 和web.py 等Flask 则是一个非常轻量级的框架,提供了搭建 Web 服务的必要组件。也就是说 Flask 为你提供工具，库和技术来允许你构建一个 web 应用程序。这个 wdb 应用程序可以使一些 web 页面、博客、wiki、基于 web 的日历应用或商业网站。...
2018-10-24 16:49:37
3048
原创 词云的产生
假设我们现在要生成一个词云，我们首先需要一些文本文件才能根据文本生成词云。第一步：获取文本信息（这里以某电影的前10页评论为例）import threading import requestsfrom bs4 import BeautifulSoup# # 1). 爬取某一页的评论信息；def getOnePageComment(id, pageNum): #...
2018-10-23 09:50:16
1049
原创 Beautiful Soup模块的使用
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.四种对象:Tag: 标签对象NavigableString : 字符内容操作对象BeautifulSoup: 文档对象Comment:下表列出了主要的解析器,以及它们的...
2018-10-20 10:04:28
433
原创 爬虫之requests模块
requests是一个http请求库requests是基于python内置的urllib3来编写的，它比urllib更加方便，特别是在添加headers，post请求，以及cookies的设置上，处理代理请求，用几句话就可以实现，而urllib比较繁琐，requests比urllib方便多了，requests是一个简单易用的http请求库 一.requests基本使用requests模块...
2018-10-19 17:25:13
189
原创 urlib常见异常处理与url解析
一.urlib异常处理 1、URLError异常 通常引起URLError的原因是：无网络连接（没有到目标服务器的路由）、访问的目标服务器不存在。在这种情况下，异常对象会有reason属性（是一个（错误码、错误原因）的元组）1）访问成功时：from urllib import request, errortry: url = 'https://www.baidu.com/h...
2018-10-17 09:40:43
3755
原创 Cookie信息的保存
1.什么是cookie？Cookie，有时也用其复数形式 Cookies，指某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据（通常经过加密），基于 Internet的各种服务系统应运而生，建立商业站点或者功能比较完善的个人站点，常常需要记录访问者的一些信息；论坛作为 Internet发展的产物之一，在 Internet 中发挥着越来越重要的作用，是用户获取、交流...
2018-10-16 18:36:20
2820
原创 正则表达式应用之爬虫
一.简单爬取(无反爬虫)1.爬取某网页中的单个图片from urllib.request import urlopenurl = 'http://imgsrc.baidu.com/forum/w%3D580/sign=e23a670db9b7d0a27bc90495fbee760d/38292df5e0fe9925f33f62ef3fa85edf8db17159.jpg'####该url...
2018-10-11 16:33:14
5925
原创 Python中正则表达式的详细用法
一.Python中glob模块用法glob是python自己带的一个文件操作相关模块，用它可以查找符合自己目的的文件，类似于Windows下的文件搜索，支持通配符操作. - - 当前目录. . --当前目录的上一级目录“*” - -0个或多个字符? 一个任意字符[…]匹配指定范围内的字符，如[0-9]匹配数字。两个主要方法如下。1.glob方法：glob模块的主要方法就是...
2018-10-08 17:44:01
815
1
原创 正则表达式在Python中的常用匹配字符
1.一般字符类. --匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。? --匹配一个任意字符^ --匹配字符串的开头$ --匹配字符串的末尾。[…] --用来表示一组字符,单独列出：[amk] 匹配 ‘a’，‘m’或’k’[^…] --不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。例：[Pp]ython --匹配...
2018-10-08 11:33:43
3723
原创 JavaScript的运用1
一.JS的简介js全称（javascript）中文是java脚本的意思 。它的由来（在互联网刚兴起的时候，网络速度比较慢，而体验又是放在服务器端的，所以用户体验度非常差，为了了解这一难题，网景公司发明了livescript liverscript主要把表单验证功能从后台提升到了前端，因为不依赖网络，所以用户体验比较好。但是由于知名度比较差，知道的人很少，后来由于sum公司的java语言一飞...
2018-10-01 23:37:17
657
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人