- 博客(16)
- 收藏
- 关注
RSS订阅原创 pandas 使用方法总结
数据的导入import pandas as pdpd.read_csv(filename) # 导入csv格式文件中的数据pd.read_table(filename) # 导入有分隔符的文本 (如TSV) 中的数据pd.read_excel(filename) # 导入Excel格式文件中的数据pd.read_sql(query, connection_object) # 导入SQ...
2019-03-28 16:03:19
815
原创 scrapy框架简介和基础应用
一.什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。二.安装 Linux：pip3 install scrapy Wi...
2019-03-24 14:49:00
106
原创 Python网络爬虫之验证码处理
引入相关的门户网站在进行登录的时候，如果用户连续登录的次数超过3次或者5次的时候，就会在登录页中动态生成验证码。通过验证码达到分流和反爬的效果。今日内容云打码平台处理验证码的实现流程：云打码平台处理验证码的实现流程：- 1.对携带验证码的页面数据进行抓取- 2.可以将页面数据中验证码进行解析，验证码图片下载到本地- 3.可以将验证码图片提交给三方平台进行识别，返回...
2019-03-23 21:39:37
212
原创 Python网络爬虫之爬取get请求的页面数据
一.urllib库 urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。二.由易到难的爬虫程序： 1.爬取百度首页面所有数据值1 #!/usr/bin/env python 2 # -...
2019-03-23 21:33:13
376
原创 Python网络爬虫之requests模块（2）
今日内容session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取引入有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如：#!/usr/bin/env python# -*- coding:utf-8 -*-import ...
2019-03-23 20:58:57
678
原创 Python网络pachong之requests模块（1）
今日概要基于requests的get请求 基于requests模块的post请求 基于requests模块ajax的get请求 基于requests模块ajax的post请求 综合项目练习：爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据今日详情- 基于如下5点展开requests模块的学习什么是requests模块 requests模块是python中...
2019-03-23 20:52:38
244
转载 Python网络爬虫之三种数据解析方式
requests实现数据爬取的流程指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据。因此，本次课程中会给大家详细介绍讲解三种聚焦爬虫中的数据解析方式。至此，我们的数据...
2019-03-22 18:31:51
276
转载 mui 中的webview
mui的webview的解读：使用mui开发的app，其实是在做web前端开发，打开的webview是网页，用js+html+css替代了原来的xml+java activity的传统android开发模式，h5最终性能相对原生一定是降低了很多（主要原因不在webkit的解析速度，而是最终所有的ui和业务逻辑还是会转化为android sdk交由java去实现，google可没有直接提供and...
2019-03-12 17:15:29
1212
原创 HBuilder mui 页面间传值的几种方式
HBuilder mui页面间传值的几种方式一、页面预加载时传值mui.init({ preloadPages:[{ url:prelaod-page-url, id:preload-page-id, styles:{}, extras:{ name:'zqm' },//在这里添加要传递的参数 ...
2019-03-08 20:44:35
312
原创 mui.ajax和mui.post,mui.get的区别
mui ajaxmui框架基于htm5plus的XMLHttpRequest，封装了常用的Ajax函数，支持GET、POST请求方式，支持返回json、xml、html、text、script数据类型； 本着极简的设计原则，mui提供了mui.ajax方法，并在mui.ajax方法基础上，进一步简化出最常用的mui.get()、mui.getJSON()、mui.post()三个方法。&...
2019-03-08 20:03:04
3745
原创 JSON.parse()与JSON.stringify()的区别
JSON.parse()【从一个字符串中解析出json对象】例子：//定义一个字符串var data='{"name":"来了,老弟"}'//解析对象JSON.parse(data)结果是：name:"来了,老弟"JSON.stringify()【从一个对象中解析出字符串】var data={name:'来了,老弟'}JSON.stringify(da...
2019-03-08 19:43:32
1072
原创 flask总结之session，websocket，上下文管理
1.关于session flask是带有session的，它加密后存储在用户浏览器的cookie中，可以通过app.seesion_interface源码查看from flask import Flask,sessionapp = Flask(__name__)app.secret_key = 'aptx4869' # 必须要指定这个参数@app.route('/login...
2019-03-04 22:17:42
391
原创 DBUtils连接池，websocket
1.mysql数据库连接池概念：数据库连接池（Connection pooling）是程序启动时建立足够的数据库连接，并将这些连接组成一个连接池，由程序动态地对池中的连接进行申请，使用，释放。 这样集中管理，供程序使用可以保证较快的数据读写速度，而且不用来回创建数据库连接，节省了时间，也更加的安全可靠。1.1 背景 所有线程都只用一个mysql连接，如果这个连接断掉，程序也会...
2019-03-04 22:15:20
613
原创 Python-DBUtils 使用mysql数据库连接池提升效率
随着全网扫描项目的开发，越来越细致的问题暴露出来，从能用到用的好，还有很长的路要走。这个问题前段时间就发现了，程序一般跑个一天会越来越慢，直到某个时候程序彻底崩了，而且最后的报错也一般是mysql的报错：pymysql.err.OperationalError: (2013, 'Lost connection to MySQL server during query ([Errno 10...
2019-03-04 22:10:40
546
原创 flask-wtforms
简介WTForms是一个支持多个web框架的form组件，主要用于对用户请求数据进行验证。安装：pip3 install wtforms用户登录注册示例1.用户登录当用户登录时候，需要对用户提交的用户名和密码进行多种格式校验。如：用户不能为空；用户长度必须大于6；密码不能为空；密码长度必须大于12；密码必须包含 字母、数字、特殊字符等（自定义正则）；a...
2019-03-03 22:27:42
414
原创 Flask快速入门及知识整理
一、Flask介绍（轻量级的框架，非常快速的就能把程序搭建起来） Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架，对于Werkzeug本质是Socket服务端，其用于接收http请求并对请求进行预处理，然后触发Flask框架，开发人员基于Flask框架提供的功能对请求进行相应的处理，并返回给用户，如果要返回给用户复杂的内容时，需要...
2019-03-03 22:19:43
518
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人