- 博客(25)
- 收藏
- 关注
RSS订阅原创 使用selenium模仿手机浏览器访问淘宝网页
众所周知，selenium模拟浏览器进行页面访问是爬虫工具中较好用的方法。通过模拟浏览器可以很方便的访问很多需要通过登录验证才能访问的网页。我们通过selenium其中访问h5手机端网页的办法解决这个问题，代码如下from selenium import webdrivermobileEmulation = {'deviceName':'iPhone X'}options = webdri...
2019-03-18 19:12:57
1841
3
原创 运用matplotlib绘制折线图、散点图、饼图、柱形图的定义代码以及案例详解
从导入数据开始这里我们有一个现成的数据表包，现在我们所处环境是pycharm，安装环境是annaconda3环境，我们将通过这个数据表包来进行数据分析，运用matplotlib绘制折线图、散点图、饼图和柱形图首先然后我们要从这个表中找到我们需要的数据，通过debug展示我们想要的信息在这里我们知道了这个表包有两个表：data、feature_names，然后我们现在需要提取这两个表中数...
2019-03-16 16:31:17
2971
1
原创 运用多线程进行数据爬取——案例
我们运用爬虫进行数据爬取的过程中，如果遇到海量的数据导致爬取时间过长无疑狠影响效率。这时，聪明的爬虫工程师就想到了一种爬取提高效率，缩短时间的方法——多线程爬虫。我们列举一个案例——爬取腾讯招聘技术类前十页的数据。先po代码！import requestsfrom urllib import parsefrom bs4 import BeautifulSoupimport thread...
2019-03-07 20:56:33
1543
原创 运用Python爬取百度贴吧的图片——（中奖贴吧：P站吧）
现在我们要爬取百度贴吧的图片，选择了一个小清新一点的黄吧——P站吧。以这个贴吧为例，大家可以一次为例爬取更多的小黄网啦！工具：pycharm，requests库，正则表达式，Python相关知识直接po代码，注释很全乎的import requests,refor page in range(1,3): #这个for循环是我们爬取的页数，从第一页开始到第二页结束（不敢爬太多怕封ip...
2019-02-26 22:09:42
820
原创 利用Python爬取翻译网站的翻译功能
现在我想分享一个利用Python技术，爬取一个翻译网站的翻译功能的小代码。首先隆重介绍我们今天将要爬取的网站：http://fy.iciba.com/咱们用Python中的urllib模块的功能进行爬取众所周知，在爬虫的准备工作中我呢吧需要确定咱们爬取网站的url那么，这个翻译网站的url如何确定呢？我们进入网站，并单击F12打开开发者工具（这里我们用的谷歌浏览器）这个网站的翻译功...
2019-02-22 21:41:41
5645
11
原创 通过数据可视化进行足球进球方式分析球员属性
在我们进行数据可视化之前我们需要了解足球世界的一些数据网站。国际足坛数据三巨头：1.Football Stats, Live Match Data and Player Statistics – Squawka.com2.http://www.whoscored.com3.http://www.fourfourtwo.com/au/performance此外还有：1.Footbal...
2019-01-24 22:31:38
3351
1
原创 Python发简单邮件——163信箱
python发送邮件的方法是基于smtp协议的一种python脚本。smtp：轻量级邮件发送协议，邮件的发送和接收人。我们今天采用163邮箱的smtp服务器开启163的smtp服务器（绑定自己的手机）此时我们得到了smtp的服务器和端口号setting设置EMAIL_HOST_USER = ‘xxxx@163.com’ 邮箱账户EMAIL_HOST_PASSWORD = 'x...
2019-01-22 19:00:48
1230
原创 django——form表单的基本用法
form表单的作用：表单在网页中主要负责数据采集功能，也就是和里面包含的数据将被提交到服务器或者电子邮件里。一个表单有三个基本组成部分：表单标签：这里面包含了处理表单数据所用CGI程序的URL以及数据提交到服务器的方法。表单域：包含了文本框、密码框、隐藏域、多行文本框、复选框、单选框、下拉选择框和文件上传框等。表单按钮：包括提交按钮、复位按钮和一般按钮。input元素form表单中i...
2019-01-21 20:13:48
861
原创 django项目的setting设置汇总
1.配置静态文件STATIC_URL = '/static/' #css，js等静态文件的存储目录STATICFILES_DIRS=( os.path.join(BASE_DIR,'static'), #文件路径MEDIA_URL = '/media/' #静态文件长传目录，可以理解为用户上传MEDIA_ROOT=os.path.join(BASE_DI...
2019-01-21 19:16:07
680
原创 Django2.0 static_root static_url media_root media_url 概述
首先我们先搞清楚static目录和media目录的区别。静态文件指像css,js,图片之类的文件，在Django里面静态文件的处理与一般的视图是不一样的。静态文件的处理主要包括STATIC和MEDIA两类，Django中的定义是：MEDIA：指用户上传的文件。STATIC：主要指的是如css、js、jq、vue、图片等文件。一、MEDIA_ROOT和MEDIA_URL（1）MEDIA_...
2019-01-19 16:34:40
1062
1
原创 生成器简述
首先生成器打印出来的是一个数据结构，像这样：如果要一个个打印出来，可以通过next（）函数获得generator的下一个返回值：所以说generator（生成器）保存的是算法，调用值需要用next（）函数。如果需要不断调用可以使用for循环来遍历值欢迎大家指摘...
2019-01-17 22:50:57
177
原创 mysql ——网站建模与数据库同步
mysql在网站中的作用不言而喻，网站的数据需要存储，并且随时调用，这些都要用到数据库。这篇博客整理一下常用的数据库——mysql 在网站开发建模、Django模型处理、Django自带模块 admin、Admin管理和样式渲染的作用数据库的高级思想：所以当我们使用python进行网站建模时，界面——models，是我们进行建模是在models界面上定义各种class类，这些class类可以...
2019-01-14 21:50:52
463
原创 栈与队列
用两个栈实现一个队列 用两个队列实现一个栈栈实现队列；队列实现栈欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLow...
2019-01-11 22:01:40
138
原创 mysql——select
练习1：demo库按照 教师(class表：teacher)和性别(stu表：sex)分组，统计每个教师所带男女生的数量，显示教师，性别，数量，将查询结果创建视图v_cnt_by_t_sexcreate view v_cnt_by_t_sex as select teacher,sex,count(*) cnt from (select c.teacher,s.sex from class c...
2019-01-11 22:01:34
301
原创 Linux 安装程序（软件）
1：程序包管理器（dpkg和apt-get）包之间存在依存关系（虽然这个概念我也不是很清楚）①dpkg方式安装程序（不推荐）安装： dpkg -i + --install deb包名卸载 ： dpkg -r deb [-P | --purge] 包名 purge：同时卸载相关配置文件查看已经安装的deb包dpkg + 选项 +包名关键字选项：–info:查看指定软...
2019-01-11 22:01:07
153
原创 Linux操作系统上ipython和jupyter的安装使用
ipython：属于交互式的加强型的python的解释器，高性能的并行计算工具。比Python自带的解释器好用，功能更加的强大。ipython优势 ①支持变量自动补全，自动缩进②内置很多功能模块和函数（很好用）③可以灵活的嵌入shell解释器Jupyter：基于web程序的交互式笔记本，功能特别强大。支持运行 40 多种编程语言，支持实时代码，编写出漂亮的代码文档。可以把代码、图像、...
2019-01-11 22:01:01
536
原创 VI编辑器的学习（详细请见txt文档）
三种模式 编辑模式（命令模式 默认） 输入模式（插入模式） 末行模式（命令接口）模式切换编辑模式–>输入模式i：当前光标处输入内容I:在当前光标所在行的行首a：在当前光标所在处的后面A:在当前光标所在行的行尾输入o：在光标所在行的下方新增一行空白行O:在光标所在行的上方新增一行空白行输入模式–>编辑模式ESC编辑模式–>末行模式：末行模式–&gt...
2019-01-11 22:00:53
247
原创 shell脚本
Shell编程理论和运用程序的编程风格和执行模式过程式：以指令为中心，来进行写程序，数据服务于指令。（bash shell) C对象式：以数据为中心，考虑先如何组织数据，指令服务于数据。 C# C++ JAVA PYTHON ……shell程序 （调用二进制程序 解释执行）程序的执行方式计算机：二进制指令编程语言：低级：汇编语言高级：编译：高级语言...
2019-01-11 22:00:46
415
原创 web网站架构和Nginx
①：网站架构原理②：LNMP（基于python的web架构）Linux+nginx+mysql+python静态资源：客户端从服务器获得的资源表现形式与原文件相同动态资源：通常是程序文件，需要服务器执行后，将执行结果返回给客户端。注意：httpd服务器是纯静态的web服务器。③：主流httpd服务器：Apache Nginx④：WSGI：Web服务器网关接口（Python We...
2019-01-11 22:00:38
395
原创 栈结构
这个题的题目是设计一个支持push、pop、top操作，并能在常熟时间内检索到最小元素的栈push（x） 将元素x推入栈pop（）删除栈顶的元素top（）获取栈顶元素getMin（）检索栈中的最小元素 class Minstack(object): def __init__(self): self.stack = [] #确定一个正常传参数的栈1 ...
2019-01-11 22:00:31
148
原创 Django安装
安装1.Virtualerv 安装Pip install virtualenv切换目录Python -m venv projectname启动虚拟环境Scripts/activate.bat安装DjangoPip install django 2.创建项目的命令D:\pythonProject>django-admin startproject Qshop1、路径：...
2019-01-11 22:00:24
569
原创 django中的子url以及反向代理
Django鼓励大家进行独立的松耦合开发1.urls子路由系统当项目过大时，项目的主url目录过大不方便查看，此时可以将部分路由放在各app的子url文件中在app当中创建urls.py文件在urls文件当中编写路由在主urls中设置：主urls包含子urls——include效果如下Url命名组在我们url匹配当中，我们在采用的正则的时候，采用命名组进行匹配。Url...
2019-01-11 22:00:19
835
原创 Django内部的静态文件设置
在Django中安装多个app后，也需要在setting中安装app独立HTML在每个app中构建了与项目相似的结构（方便日后直接把app拿出来用）返回路径的问题独立静态文件在线上和项目当中，django使用不是一套静态文件Apache和Nginx当中都需要配置独立的静态文件路由1、配置静态根目录2、创建app当中的静态目录结构3、收集静态文件 在虚拟环境中执...
2019-01-11 22:00:12
202
原创 Django——form表单
制作一个Django的form表单项目——一个登陆注册的项目；制作过程：建模（form.py+model建模）—>views表单建立（两个函数：StudentExample + ajaxPostData）
2019-01-11 21:59:11
746
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人