2017年09月_王师北

原创 python爬虫由浅入深11---selenium的基础与使用

百度百科说：

2017-09-29 12:48:57 232

原创 python爬虫由浅入深10---pyquery库的基础与使用

PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现初始化1.字符串初始化将整个网页的代码赋值给一个字符串html，则可以这样初始化from pyquery import PyQuery as pqdoc = pq(htm

2017-09-29 07:43:14 490

原创开源中国在线正则表达式匹配测试

tool.oschina.net/regex/#

2017-09-28 15:01:49 1217

转载 Scrapy安装错误：Microsoft Visual C++ 14.0 is required...

问题描述当前环境win10，python_3.6.1，64位。在windows下，在dos中运行pip install Scrapy报错：building 'twisted.test.raiser' extensionerror: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ B

2017-09-27 20:15:23 683

原创 python爬虫由浅入深9---定向爬取股票数据信息并保存至本地文件

技术路线：requests库+bs4库+re库的整合使用目标：获得上交所和深交所所有股票的名称和交易信息输出：保存至本地文件可选数据网络有：新浪股票和百度股票，，通过查看网页源代码可知，新浪股票的数据是通过javascript脚本获取的，故通过以上方式无法解析呃呃呃，可以说requests库+bs4库+re库可以爬的网站应该是---信息静态存在于HTML页面中，非js代码生成，没有

2017-09-27 15:28:10 6810

原创 python爬虫由浅入深8---基于正则表达式查询的淘宝比价定向爬虫

技术路线：requests库和re库的整合功能描述：目标：获得淘宝搜索页面的信息，提取其中的商品名称和价格理解：淘宝的搜索接口翻页的处理程序如何处理网页翻页首先，打开淘宝首页，搜索“篮球”，发现导航栏的url为

2017-09-27 10:59:16 504

原创 python爬虫由浅入深8---正则表达式及Re库的基础与使用

正则表达式：通用的字符串框架，用来简洁地表达一组字符串的表达式例：“PY”开头，后续存在不多于10个字符后续字符不能是“P”或“Y” PY[^PY]{0,10}语法：P(Y|YT\YTH|YTHO)?N由字符和操作符构成操作符有：· 任何[ ] 取值范围[^] 排除范围* 0或多个+ 1或多？前一个字符的0次或1次扩展| 左右表达式或

2017-09-27 09:31:56 277

原创 python爬虫由浅入深6--基于bs4库的HTML内容的查找方法

基于bs4库的HTML内容的查找方法：实例：提取http://python123.io/ws/demo.html链接中的所有url思路：1.搜索所有的标签 2.解析标签格式，提取href后的链接内容实现代码如下：import requestsfrom bs4 import BeautifulSoupr = requests.get("http://python1

2017-09-26 19:54:51 1039

原创 python爬虫由浅入深5--的html格式输出 prettify（）

基于bs4库的html格式输出 prettify（）方法如何让内容更加友好地显示，对人友好，对我们所写的程序也友好？？？我们发现在bs4库中有一个prettify（）方法该方法可以被r.text调用，也可以被html的各个标签对象调用它的作用就是使解析出来的html程序“每逢标签，自动换行”可以对程序起到很好的辅助作用

2017-09-26 18:45:26 821

原创 python爬虫由浅入深4--基于bs4的html内容遍历方法

基于bs4的html内容遍历方法html可转化为树形结构，从而可以让我们对遍历方法和遍历过程有一个直观的认识例如，以下的html代码 This is a python demo page The demo python introduces several python courses. Python is

2017-09-26 18:16:30 1136

原创 python爬虫由浅入深3--BeautifulSoup的使用的基本方法

from bs4 import BeautifulSoupsoup = BeautifulSoup(data,"html.parser")BeautifulSoup的使用的基本方法BeautifulSoup中有信息的标记与提取的方法译为美丽的汤，所以我们可以理解为利用Beautifulsoup可以把杂乱无章的（额，，也并非杂乱无章）的html代码解析出来，以此炖出一锅美丽的汤使

2017-09-26 15:20:32 406

原创 python爬虫由浅入深2--反爬虫Robots协议

Robots协议：网络爬虫排除标准在我们想要爬取某个站点时，可以通过查看此站点的相关Ｒｏｂｏｔｓ协议来查看哪些可以爬，哪些不能爬，当然，仅仅是网站维护者制定的规则而已，并不是说，他们禁的数据我们就爬不到Robots协议的形式：在网站的Robots

2017-09-26 15:07:09 1955

原创 python爬虫由浅入深1-从网页中爬取文件并保存至本地

从网页中爬取文件并保存至本地import requestsimport osurl = "http://image.nationalgeographic.com.cn/2017/0926/20170926103910736.jpg"root = "C://Users//kfc//Desktop//pics//"path = root + url.split('/')[-1]try:

2017-09-26 13:33:35 5624

转载解决pip install慢的方法

常在使用python的时候需要安装各种模块，而pip是很强大的模块安装工具，但是由于国外官方pypi经常被墙，导致不可用，所以我们最好是将自己使用的pip源更换一下，这样就能解决被墙导致的装不上库的烦恼。网上有很多可用的源，例如豆瓣：http://pypi.douban.com/simple/ 清华：

2017-09-25 19:40:43 29797 12

原创 centos下安装python3

在https://www.python.org/ftp/python/下找到您所需的python版本如https://www.python.org/ftp/python/3.4.1/Python-3.4.1.tgz下载pythonwget https://www.python.org/ftp/python/3.4.1/Python-3.4.1.tgz解压编译安装# tar zx

2017-09-23 19:59:06 586

原创关于tensorflow的好博客

https://zhuanlan.zhihu.com/p/25620573

2017-09-19 20:21:30 285

原创 tensorflow快速整体认识

用法说明：请类比管道构建来理解计算图的用法构造阶段（construction phase）：组装计算图（管道）计算图（graph）：要组装的结构。由许多操作组成。操作（ops）：接受（流入）零个或多个输入（液体），返回（流出）零个或多个输出。数据类型：主要分为张量（tensor）、变量（variable）和常量（constant）张量：多维array

2017-09-19 16:15:15 373

原创神经网络之基础概念理解1

物理理解：对的理解就是通过组合形成新物质。又符合了我们所处的世界都是非线性的特点。情景：是二维向量，维度是碳原子和氧原子的数量，数值且定为，若确定是三维向量，就会形成如下网络的形状 (神经网络的每个节点表示一个维度)。通过改变权重的值，可以获得若干个不同物质。右侧的节点数决定了想要获得多少种不同的新物质。（矩阵的行数）1. 如果权重W的数值如（1），那么

2017-09-19 15:23:30 386

原创利用tensorflow构造一个简单的神经网络

1，定义一个“添加层”函数import tensorflow as tfdef add_layer(inputs,in_size,out_size,activation_function=None): Weights = tf.Variable(tf.random_normal([in_size,out_size])) biases = tf.Variable(tf.zeros

2017-09-18 12:50:06 1004

原创 tensorflow之feed用法

feed用于tensorflow中数据的输入，与placeholder上下呼应，形成数据传递之功能import tensorflow as tfinput1 = tf.placeholder(tf.float32)input2 = tf.placeholder(tf.float32)output = tf.multiply(input1,input2)with tf.Session()

2017-09-18 12:35:35 1287

原创 tensorflow之变量（Variable）与常量（constant）体会

import tensorflow as tfstate = tf.Variable(0,name='counter')# print(state.name)one = tf.constant(1)new_value = tf.add(state,one)update = tf.assign(state,new_value)init = tf.initialize_all_vari

2017-09-18 12:28:52 1299 3

原创 tensorflow之session用法简述

import tensorflow as tfmatrix1 = tf.constant([[3, 3]])matrix2 = tf.constant([[2], [2]])product = tf.matmul(matrix1, matrix2) # matrix multiply np.dot(m1, m2)# method 1se

2017-09-18 12:21:21 719

原创关于tensorflow入门代码

import tensorflow as tfimport numpy as np# create datax_data = np.random.rand(100).astype(np.float32)y_date = x_data*0.1+0.3# create tensorflow struction startWeights = tf.Variable(tf.random_

2017-09-18 12:13:10 459

原创 tensorflow基础使用5

MNIST数据集分类简单版本# coding: utf-8# In[2]:import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# In[3]:#载入数据集mnist = input_data.read_data_sets("MNIST_data",one_

2017-09-17 14:33:38 280

原创 tensorflow基础使用4

运行结果即可

2017-09-16 19:43:54 299

原创 tensorflow基础使用3

一个简单的梯度下降算法验证一次函数的例子# a semple case# -*- coding:utf-8 -*-import tensorflow as tfimport numpy as np#随机生成100个点，而且这100个点在y=0.1x+0.2上，以此作为训练样本x_date = np.random.rand(100)y_date = x_date*0.1 +0

2017-09-16 11:11:16 249

原创 tensorflow基础使用2

Fetch和Feed的用法1.fetch的用法也就是在session运行时，可以以列表的方式传参，从而同时run多个op# -*- coding:utf-8 -*-import tensorflow as tf# how to use Fetchinput1 = tf.constant(3.0)input2 = tf.constant(2.0)input3 =

2017-09-16 11:04:37 193

原创 tensorflow基础使用1

1. op的设计及运行一个简单的图import tensorflow as tfx = tf.Variable([1,2]) #创建变量a = tf.constant([3,3]) #创建常量sub = tf.subtract(x,a) #定义减法opadd = tf.add(x,sub) #定义加法opinit = tf.global_variables_initializer()

2017-09-16 10:53:37 218

原创 numpy入门5

# -*- coding:utf-8 -*-import numpy as npb = np.arange(24).reshape(3,2,4)print b# 数组的属性# shape维度# dtype数据类型#ndim属性，给出数组的维数，或数组轴的个数print b.ndim#size属性，给出数组元素的总个数# itemsize属性，给出数组中的元素在内存

2017-09-12 08:52:28 216

原创 numpy入门4

# -*- coding:utf-8 -*-# 分割数组#水平分割import numpy as npa = np.arange(9).reshape(3,3)print aprint np.hsplit(a,3) # 将数组沿水平方向分割成3个大小相等的数组# 效果同np.split(a,3,axis=1)一样# 垂直分割 np.vsplit 同np.split(:,:,

2017-09-12 08:51:54 190

原创 numpy入门3

# -*- coding:utf-8 -*-import numpy as np# 组合数组a = np.arange(9).reshape(3,3)print ab=2*a# 水平组合hstackprint np.hstack((a,b))# 将ndarray对象构成的元组传给hstack（）函数，# 返回一个水平组合的数组# ，而这与concatenate((a,

2017-09-12 08:50:41 250

原创 numpy入门2

# -*- coding:utf-8 -*-# 数组的切片和索引import numpy as np# 一维数组的切片和索引与python的列表类似a = np.arange(9)print aprint a[3:7]# 多维数组的切片和索引b = np.arange(24).reshape(2,3,4) # 先用arange函数创建一个数组并改变其唯独print

2017-09-12 08:49:32 169

原创 numpy入门1

# -*- coding:utf-8 -*-import sysfrom datetime import datetimeimport numpy as np#python实现数组加法def pysum(n): a=range(n) b=range(n) c=[] for i in range(len(a)): a[i] = i**2

2017-09-12 08:48:02 239

原创图书管理系统3 ---图书类别添加

对于每一个涉及数据库操作的功能，在其代码编写的过程中，都需要先写一个dao类，通过dao类来获得一个util类的一个数据库连接，然后再在dao类中编写sql语句，进而实现数据的获取与更新。1.首先通过windowbuilder获取一个“图书类别添加”的点击事件public void actionPerformed(ActionEvent e) { BookTypeAddInterF

2017-09-02 18:56:59 3990

原创图书管理系统2--- 主界面的实现

1.怎样验证登录成功？（1）提取当前输入框的数据，将其封装为一个user，拿这个user放进userDao中的login方法去验证，login（con，user）方法就是利用预编译的sql语句载入输入的user的name和password信息，如果能查到就返回非空，进而进入主界面。userDao的login方法如下public User login(Connection con,U

2017-09-01 20:53:29 1362

原创图书管理系统1---登录功能实现

一, 需求分析及概要设计初步计划，该图书管理系统应实现管理员的登录，图书的增删改查等相应的常规功能。所利用的技术及工具有mySql数据库，eclipse等，由于对Java的swing界面的设计并非重点，故可采用windowbuilder工具进行图形界面的设计。二，编码1,首先建立一个数据库db_book，继而建表t_user（id，user，password）；2,在eclipse

2017-09-01 14:56:21 6201

增大bath (copy).zip

RegDB数据集-跨模态行人重识别

python爬虫实战笔记---以轮子哥为起点Scrapy爬取知乎用户信息

空空如也