- 博客(32)
- 收藏
- 关注
RSS订阅转载 爬虫--使用scrapy爬取糗事百科并在txt文件中持久化存储
工程目录结构 spiders下的first源码 # -*- coding: utf-8 -*-import scrapyfrom firstBlood.items import FirstbloodItemclass FirstSpider(scrapy.Spider): #爬虫文件的名称 #当有多个爬虫文件时，可以通过名称定位到指定...
2019-01-27 22:32:00
152
转载 爬虫-windows下安装Scrapy及scrapy模块介绍
一：安装wheel wheel介绍二：安装twisted twisted是由python编写的一款基于事件驱动的网络引擎，使用twisted模块将python的异步请求（异步模型介绍）成为可能且简单易用。Twisted介绍三：创建scrapy文件 使用命令窗口进入目标目录后 使用命令 scrapy startproject project_...
2019-01-27 22:25:00
116
转载 爬虫-爬虫介绍及Scrapy简介
在编写案例之前首先理解几个问题，1：什么是爬虫2：为什么说python是门友好的爬虫语言？3：选用哪种框架编写爬虫程序一：什么是爬虫？ 爬虫 webSpider 也称之为网络蜘蛛，是使用一段编写好的代码所生成的应用程序使其游弋于互联网这个庞大的体系中，帮助我们将想要的内容从目标服务器中搬到我们本地，通过解析将所需要的数据结构化入库，为企业或个人决策提供依据。比如股票走势，某...
2019-01-26 23:14:00
123
转载 委托的实现过程
using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.Threading.Tasks;namespace 面试题案例{ class 委托 { public void 初级版()...
2019-01-11 15:29:00
128
转载 Django学习之模拟架构页面跳转
背景知识，需要有一定量的HTTP基础知识在客户端游览器通过URL向服务端发送请求时，经历了两次过程。一次是URL向服务端发起请求，一次是服务端向客户端回发响应。由图可知，客户端一共传递两个信息，一个默认空的get请求和一个图标请求（忽略）。此时的请求都是byte类型，通过转码可以获得两组有规律的请求信息。通过split分割，可以两组字典。每个字典的第二个参数即为请求...
2018-11-19 22:00:00
89
转载 Django学习之mysql结果显示
背景：向数据库添加相同名字的用户上节可知，在查询某个用户信息时，只能查看到行数但不能查看结构性信息。fetchone()函数可以但仅可逐个查看结构性信息。查不到信息将以None替补。fetchAll()可以将所有结果以一个元祖显示，如图使用元祖查看结果不是特别的方便，python提供以字典的形式。默认不启用该状态。向游标添加以下代码即可启用转载于...
2018-11-19 15:51:00
78
转载 Django学习之mysql增删改查
上节介绍了如何使用命令行操作mysql增删改查，现在介绍如何使用python管理mysql使用pip 下载完mysql后，mysql会以pymysql模块的形式存储在pycharm的包文件里。我们通过操作pymysql包的对象来管理我们的mysql.首先导入pymysql包并通过connet对象建立数据库连接。import pymysqluser=input('>...
2018-11-19 15:29:00
129
转载 Django学习之mysql应用基础
使用pip 安装mysql pip install mysql使用命令行打开数据库且选择使用已有的数据库显示已有数据库show databases;选择已有数据库use s23;显示s23数据库都有哪些表show tables;在命令下创建新表create table user(id int prima...
2018-11-19 11:08:00
62
转载 HTTP学习之URL与资源
URL是因特网资源的标准化名称，该字符串指向一条电子信息片段，定义服务端应用程序在什么位置以及客户端要如何与其交互一条完整的URL由多个片段组成。通用URL组件方案以哪种协议访问服务器用户某些方案访问资源时需要用户名密码用户名之后可能需要密码主机资源宿主服务器的主机名或IP地址端口资源宿主服...
2018-11-10 21:23:00
146
转载 HTTP学习之HTTP基础
学习HTTP技术，首先要了解它的在web通信中有哪些特点，起到什么作用、有哪些规范、都有什么功能。HTTP的特点 HTTP使用的是一种可靠的、快速响应的数据传输协议，用户一旦发起请求，Web服务器可以快速的做出响应，并将请求的资源内容完整的连同响应一起回送给客户端。由于其可靠性，数据在传输过程中不会被破坏、复制或者产生畸变。因此用户无需担心请求的数据是否完整。开发人员也能专...
2018-11-09 20:11:00
306
转载 前端学习之HTML基础
要点：理解HTTP请求响应模式及通信规范HTML的各种标签和常用标签CSS是用于样式渲染和定位布局JS将HTML动态化jquery是JS的高级封装理解HTTP请求响应模式及通信规范 HTTP一个基于TCP/IP协议之上的面向对象的协议，由于其简洁、快速响应的特性适用于分布式超媒体信息系统。HTTP协议工作于客户端-------服务端架构之上。游...
2018-11-08 19:43:00
40
转载 python学习之网络编程基础
引入场景：客户与银行关系 银行职员负责给客户提供取钱服务，客户通过账户密码跟银行职员建立合作关系。此时银行职员就可以作为服务器，当用户A取完钱后他需要等待下一个用户的接入，用户的账号密码就是建立合作关系的凭据。------简单的客户端/服务器架构模型。客户端/服务器网络编程过程 一：创建套接字（通信端点） AF_XXX解释：地址家族名称，AF:Ad...
2018-10-29 20:46:00
92
转载 Python学习之模块基础
模块就是程序编写以下简单代码print('hello python')并将py文件保存在c盘的python（假设新建）文件下，通过pycharm的Terminal 或者windom命令窗口调出python解释器并输入以下代码 import sys sys.path.append('c:/python') import hello将看到以下输...
2018-10-22 22:21:00
87
转载 Python学习之property
Python中使用Property函数可以将类中的函数当作属性来调用。案例 1 __metaclass__=type 2 class Rectangle: 3 def __init__(self): 4 self.width=0 5 self.height=0 6 def setSize(self,size)...
2018-10-10 21:49:00
58
转载 Python学习之魔法方法
Python中会看到前后都加双下划线的函数名，例如 __init__(self)，这类写法在Python中具有特殊的含义。如果对象使用了这类方法中的某一个，那么这个方法将会在特殊的情况下被执行，然而几乎不会直接调用此类方法。如果没有兼容旧版本Python代码的需要，我们在编写代码时应将所有类的写为新式类并且使用super函数这样的特性。在Python3.0中没有"旧式"...
2018-10-09 23:39:00
57
转载 python学习之对象的三大特性
在面向对象程序设计中，对象可以看做是数据（特性）以及由一系列可以存取、操作这些数据的方法所组成的集合。编写代码时，我们可以将所有功能都写在一个文件里，这样也是可行的，但是这样不利于代码的维护，你总不希望维护代码前，还需要从头至尾的通读一遍吧，就好像一间杂乱无章的房子，你想找一件想要的东西，但是需要地毯式的搜索一遍，甚至多遍才能找到。很明显，这样做的话，很浪费我们的时间。多态：顾名思义...
2018-10-04 21:59:00
94
转载 python学习之面向对象程序设计的一些思考
将属于一类的对象放在一起： 如果一个函数操纵一个全局变量，那么两者最好都在类内作为特性和方法实现。 不要让对象过于亲密： 方法应该只关心自己实例的特性，让其他实例管理自己的状态。简单就好： 让方法小巧起来，一般来说，多数方法都应在30秒内被读完，尽量在代码的行数控制在一页或者一屏之内。小心继承，尤其是多继承： 继承机制有时很...
2018-10-04 21:01:00
99
转载 python学习之字符串常用方法和格式化字符串
Python中的字符串同样适用标准的序列操作（索引，分片，乘法，成员判断，求长度，取最小值和最大值），但因为字符串是不可变的，因此字符串不支持分片赋值。1 s='http://www.baidu.com'2 s[-3:]='aaa'3 print(s)输出结果：1 s[-3:]='aaa'2 TypeError: 'str' object does n...
2018-09-28 16:37:00
114
转载 python学习之map函数和reduce函数的运用
MapReduce：面向大型集群的简化数据处理 引文map()函数Python中的map()函数接收两个参数，一个是调用函数对象(python中处处皆对象，函数未实例前也可以当对象一样调用)，另一个是调用函数所需要的参数，返回值是迭代计算出的结果所组成的列表。1 def func(x):2 return x*x3 r=map(func,[1,2,3,4...
2018-09-27 14:37:00
98
转载 Python学习之迭代器和生成器
迭代器在Python如果一个对象可被循环(遍历)该对象中每一个元素的过程叫做迭代。例如 ，字典、字符串、列表、元祖、集合等。他们可被迭代的原因是，都有一个共同的内置函数__iter__。通过执行内置对象的__next__函数，可以依次打印该对象的所有元素。例如 有一个列表，该列表存储了1-100的数值，但是我们只想打印前50的个元素。 1 flag=True 2 l=[x...
2018-09-26 23:35:00
87
转载 Python学习之高级特性
切片在Python基础篇里，我们知道Python的可序列对象可以通过索引号（下标）来引用对象元素，索引号可以由0开始从左向右依次获取，可以从-1开始由右向左获取。这种方法可以帮助我们依次获取我们想要的元素。而切片可以帮助我们获取被切片元素的副本。可序列对象切片时所需要的参数[start_index:stop_index:step]start_index:切片的起始位置st...
2018-09-25 22:50:00
66
转载 Python学习之函数参数
上一节，我们学习了Python中是如何定义和调用函数且如何得到返回值的。在调用函数时，有的函数需要参数来启动函数，有的则无需参数。这一节我们来介绍Python中有哪些参数类型。位置参数在调用函数时，必须按照参数定义的顺序依次赋给参数默认参数只需赋给常变参数，不常变参数将作为默认值传递给函数。如果需要替换不常变参数的默认值，只需在调用函数时向该参数传入想...
2018-09-23 19:01:00
106
转载 Python学习之函数
计算机程序中，函数是一种基本的代码抽象方式。代码执行过程中通过调用函数名和参数可以调用特定函数而得到我们想要的结果。通过调用函数，程序开发人员可以忽略函数执行的过程，而可将更多的心思放在思考问题上。在python中我们可以调用一些内置函数或调用自定义函数。调用内置函数 abs1 print(abs(-100))返回结果1 100abs 是python中的一个内...
2018-09-23 10:32:00
92
转载 Python学习之set集合
set集合以{}保存一组可迭代对象，如列表，字符串,set集合本身。集合内的元素若有重复的，将自动去除重复元素1 a=set([1,2,3])2 print(a)3 b=set('hello python')4 print(b)5 c=set({1,2,3})6 print(c)7 d=set({'hello python'})8 print(type...
2018-09-21 23:25:00
102
转载 python学习之循环语句
编程语言中的循环语句，以循环判断达式是否成立为条件，若表达式成立则循环执行该表达式，若不成立则跳出当前执行执行语句且继续执行其后代码。如下图所示。Python中提供以下循环方式循环类型描述while 表达式:若表达式成立，则继续执行while 里的方法体，若不成立，则会跳出且继续执行后续代码for 表达式:若表达式成立，则继...
2018-09-20 18:45:00
103
转载 Python学习之运算符
Python中有以下几种运算符算数运算符假设a=2，b=3运算符描述实例+两个对象相加a+b 输出5-两个对象相减，得到一个负数或者另外一个数字a-b 输出-1*两个数相乘或者返回一个被重复若干次的字符串a*b输出6，或者'a'*10输出10次a/两数相除b/a 输出1.5...
2018-09-20 16:37:00
133
转载 python学习之变量类型
变量： 变量是保存在内存中的值，根据变量类型开辟不同的内存空间且只允许符合该数据类型的数据才可以被存储在该内存空间中变量赋值：在Python中定义变量时，无需像其他语言一样需要声明数据类型。每个变量在内存中创建的时候都会包含变量的标识、名称和数据信息，在使用变量的时候，必须要给变量赋值，且该变量在赋值后才会被创建。我们用(=)给变量赋值，等号的左边是变量的名称，右边是将...
2018-09-19 15:27:00
84
转载 python学习之基础语法
Python作为交互式编程方式，通过Python解释器的交互模式来编写代码，在linux上只需输入Python即可启动交互式编程，在windows使用Python编程时，需要安装Python运行环境既解释器且需要配置环境变量。Python的历史版本间的介绍及差异详见官网。python.org编写一个python脚本且执行它打开一个文本文件输入以下代码，将文件名保存为test.py...
2018-09-19 10:09:00
67
转载 .Net MVC中的路由
MVC中的URL也就是路由，不用通过路径访问实际的物理文件而达到向用户展示界面。URL的路由功能 一方面正向 映射到Controller和Action，根据用户输入的URL触发相应的控制器和对应方法，另一方面则反向映射并构造出URL，根据控制器和行为构造出URL以供程序调用。系统首次启动将会加载Global.asax文件的Application_Start方法并去执行Regist...
2014-07-17 15:56:00
75
转载 MVC_Controller
准备工作 安装VS2010或更高版本 安装数据库2008或更高版本 视个人系统不同配置IIS本地服务 数据库和VS下载地址http://msdn.itellyou.cn/本节目标通过本节案例对MVC模式有初步认识并能建立小型MVC应用程序MVC简介 对MVC的认识：构建web应用程序的一种架构MVC模式：...
2014-07-15 11:54:00
131
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人