- 博客(52)
- 收藏
- 关注
RSS订阅原创 批量数据脚本
建表#1 建表deptCREATE TABLE dept( id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0, dname VARCHAR(20) NOT NULL DEFAULT "", loc VARCHAR(13) NOT NULL DEF...
2019-08-08 16:16:24
131
原创 centos7安装Anaconda3
本人安装版本为：Anaconda3-5.2.0-Linux-x86_64.sh1.在Linux环境下找到安装包，进行安装。安装过程如下：执行 Anaconda3-5.2.0-Linux-x86_64.sh（此命令文件为在线安装python 3.6.5环境，并下载程序关联工具包） 命令文件，执行命令如下：bashAnaconda3-5.2.0-Linux-x86_64.sh安装...
2019-08-08 16:10:49
355
1
原创 windows下python3连接Oracle数据库
一开始按照网上教程连接Oracle，报错：cx_Oracle.DatabaseError:Error while trying to retrieve text for error ORA-01804网上查此报错：ORA-01804: 时区信息无法初始化我没有按照此报错去解决，而是删除Oracle客户端，重新解压测试Python版本：Python 3.6.3以下是我的解决过程：...
2019-08-01 17:35:25
1440
原创 爬虫练习
最近写了豆瓣，腾讯社招，拉钩网爬虫案例，已经上传到https://github.com/XHuskie/crawl并且简单分析了一下拉钩网的数据以下为前几天爬取的拉钩网：Python招聘，范围：全国的数据，仅供参考！ 全国Python的薪资多为10K到20K,15K到30K位居第二，20K到40K为居第三，可见Python的薪资还是很高的：全国Python的学历要求多为本科...
2018-07-31 20:30:54
261
原创 学习Python的日子 爬虫（6）
抓取淘宝美食数据案例from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by impo...
2018-07-09 21:04:24
461
原创 学习Python的日子 爬虫（5）
多线程糗事百科案例from queue import Queuefrom threading import Thread, Lockimport timeimport requestsimport jsonfrom lxml import etree# 采集线程是否退出:True退出,False不退出crawl_exit = Falseparse_exit = False#...
2018-07-09 09:36:32
783
原创 学习Python的日子 爬虫（4）
实战案例--得到天猫第一页的产品idimport requestsimport refrom lxml import etreeheaders = { "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8", "accept-encodi...
2018-07-09 09:28:24
1148
原创 学习Python的日子 爬虫（3）
一、使用正则得到尚硅谷老师的图片链接和简介信息，并且把图片保存下来，老师简介保存到文本中；要求：1）杨老师的信息图片<img src="pics/ygf.jpg"> 图片保存的名字叫ygf.jpg，其他老师类似；并且都保存到当前目录下的image目录2）杨老师的信息保存文件名叫“ygf.txt”,其他老师类似；并且保存到当前目录下的text目录import re,osimport r...
2018-07-09 09:23:45
571
原创 学习Python的日子 爬虫（2）
随机选择ip案例import requestsimport randomproxy_list = [ {"123.139.56.238":"9999"}, {"113.119.58.230":"3128"}, {"122.72.18.35":"80"}, {"122.72.18.34":"80"}, {&q
2018-07-03 20:54:33
688
原创 学习Python的日子 爬虫（1）
爬虫是什么？网络爬虫（又被称为网页蜘蛛，网络机器人，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。为什么使用python做爬虫？可以做爬虫的语言有很多，如 PHP、Java、C/C++、Python等等...1) PHP语言 虽然是世界上最好的语言，但是他天生不是干这个的，而且对多线程、异步支持不够好...
2018-07-03 20:41:48
662
原创 学习Python的日子 博客项目
博客项目 1、分析页面 分析页面达到的目的 1）：完成网站的模块划分 2）：从模板页面当中抽象出父模板，实现模板页面继承 3）：分析模块当中的数据模型，确定模型类当中的字段 2、用户模块 扩展已经存在的模型 1）、onetoone扩展 2）、使用内部auth继承构建自己的用户表 第一步：创建模型类继承于内部user表的可继承类 from django.db import mod...
2018-06-12 20:38:55
328
1
原创 学习Python的日子Django（6）
Django 模板概述 1）作为Web框架，Django提供了模板，可以很便利的动态生HTML 2）模版系统致力于表达外观，而不是程序逻辑。 3）模板的设计实现了业务逻辑(view)与显示内容（template）的分离，一个视图可以使用任意一个模板，一个模板可以供多个视图使用。 4）模板包含： HTML的静态部分 动态插入内容部分 5）Django模板语言，简写DTL，定义在dj...
2018-06-12 19:40:36
266
原创 学习Python的日子Django（5）
Django 用户信息 一、用户的基本登陆注册 二、使用session实现显示登陆用户名 session的概念 session的基本用法 session的存储配置 三、使用cookie实现记住用户名功能 cookie的概念 cookie的基本用法 四、使用django内置auth模块实现用户登陆注册注销 session 设置session通过request.sessi...
2018-06-07 16:45:25
214
原创 学习Python的日子Django（4）
Django 将单表增删改查数据展示在页面上 1、创建项目 2、设置项目的虚拟环境 3、配置项目settings 4、设置主子路由 5、编写数据模型，迁移同步数据库 class StudentInfo(models.Model): name = models.CharField(max_length=20,verbose_...
2018-06-05 21:19:34
138
原创 学习Python的日子Django（3）
Django ORM简介 MVC框架中包括一个重要的部分，就是ORM，它实现了数据模型与数据库的解耦，即数据模型的设计不需要依赖于特定的数据库，通过简单的配置就可以轻松更换数据库。 ORM是“对象-关系-映射”的简称，主要任务是： 1）根据对象的类型生成表结构 2）将对象、列表的操作，转换为sql语句 3）将sql查询到的结果转换为对象、列表 这极大的减轻了开发人员的工作量，不需要面对...
2018-06-04 18:35:19
207
原创 学习Python的日子Django（2）
Django 简介视图 主要内容：URLconf、HttpRequest对象、HttpResponse 1）视图接受Web请求并且返回Web响应 2）视图就是一个python函数，被定义在views.py中 3）响应可以是一张网页的HTML内容，一个重定向，一个404错误等等 4）在http请求中产生两个核心对象，所在位置是，django.http： http请求：HttpR...
2018-06-04 18:21:39
104
原创 学习Python的日子Django（1）
Django 什么是软件框架 软件框架（Software framework），软件框架其实就是将代码放到一个我们看不到的容器中，规定架构。当我们使用的时候直接调用。 Django是一个开放源代码的Web应用框架，由Python写成。采用了MTV的框架模式，即模型M，模板T和视图V。它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的，即是CMS(内容管理系统)软件。并于20...
2018-06-01 18:30:56
472
原创 学习Python的日子Redis
Redis redis简介1 Redis:REmote DIctionary Server(远程字典服务器) 是完全开源免费的，用C语言编写的，遵守BSD开源协议 是一个高性能的(key/value)分布式内存数据库，基于内存运行, 并支持持久化的NoSQL数据库，是当前最热门的NoSql数据库之一,也被人们称为数据结构服务器。 Redis 与其他 key - value 缓存产品有以下...
2018-05-30 18:37:51
231
原创 学习Python的日子MongoDB
MongoDB NoSQL NoSQL，全名为Not Only SQL，指的是非关系型的数据库，随着访问量的上升，网站的数据库性能出现了问题，于是nosql被设计出来 NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库...
2018-05-29 18:53:04
125
原创 学习Python的日子MYSQL操作（3）
MySQL 回顾 a)单表的查询简单（去重distinct）条件：比较、 逻辑 、模糊、范围、空判断聚合：sum max min avg count 分组：分组的特点*****Select gender,sum(age) from students group by gender;这样是可以的，不可以单独选择age，但是可以对其它字段聚合排序：正序 倒序限制：索引 数量b...
2018-05-28 19:58:22
179
原创 学习Python的日子MYSQL操作（2）
MySQL 查询单列数据 select name from students 查询所有列的数据 select * from students 去重查询单列 去重只能显示能去重的那一列 select distinct gender from students; 如果查去重所有的，没办法显示去重的效果 select distinct * from students 条件查询where...
2018-05-28 18:46:49
154
原创 学习Python的日子 MYSQL操作（1）
MySQL 数据库简介 数据库(Database)是按照数据结构来组织、存储和管理数据的仓库 在当今的互联网中，最常见的数据库模型主要是两种，即关系型数据库和非关系型数据库。mysql就是典型的关系型数据库。 关系型数据库的特点是将数据保存在不同的表中，再将这些表放入数据库中，而不是将所有数据统一放在数据库里，这样的设计增加了MySQL的读取速度，灵活性和可管理型也得到了很大提高，访问以及管...
2018-05-28 18:45:50
191
原创 学习Python的日子 Python高级（11）
Python高级 回顾 tcpudp---》应用层协议： httphttphttpsrequest：请求 客户端response： 响应 服务器web服务器：1.接收客户端的请求请求行 GET /test.html POST | GET请求头 key:value请求体GET --->url字符串 http://192.168.28.74:8080/mysite?userna...
2018-05-26 08:50:52
209
1
原创 学习Python的日子 Python高级（10）
Python高级 gevent实现并发下载 import geventimport urllib.requestfrom gevent import monkeymonkey.patch_all() # 猴子补丁 将标准库中涉及的IO切换成gevent的def download(url): print("GET %s" % url) response = urllib.request.url...
2018-05-25 10:24:22
190
原创 学习Python的日子 Python高级（9）
Python高级 回顾 udp:1.使用udp进行通话：socket(AF_INET,SOCK_DGRAM) 接收：recvfrom() 发送：sendto()2.多线程的： socket对象 线程---->socket.sendto() ---> 聊多句 线程---->sock.recvfrom() ---> 收多句3.udp广播： 屏幕广播 飞秋tcp: 网络通信...
2018-05-25 10:23:32
211
原创 学习Python的日子 Python高级（8）
Python高级 聊天发送和接收 发送 from socket import *# 发送方send_socket=socket(AF_INET,SOCK_DGRAM)while True: # 发 msg=input(">>:") send_socket.sendto(msg.encode("utf-8"),("192.168.28.34",9992)) if msg=="bye...
2018-05-25 10:22:31
157
原创 学习Python的日子 Python高级（7）
Python高级 互斥锁 from threading import Thread, Lock suo=Lock() f=suo.acquire() # 获取锁 锁门 suo.acquire() print("-----",f) suo.release() # 开门 释放锁 案例 from threading import Thread# 全局变量g_num = 0# def...
2018-05-25 10:21:42
176
原创 学习Python的日子 Python高级（6）
Python高级 进程 os.fork 1.创建子进程方式 window不支持 2.主进程与子进程数据不共享 3.避免多次fork Process类 跨平台方式 1. Process类 跨平台方式 from multiprocessing import Process 2. 参数： target=函数（进程要做的动作） name=进程的名字 args=(参数...
2018-05-25 10:21:07
120
原创 学习Python的日子 Python高级（5）
Python 正则表达式 分组 两种情况： 1. dog|cat 2. () --->一个组 就可以结合 : 匹配对象.group(n) 作用：在匹配的基础上得到部分内容 分组的使用：也是支持嵌套 (()) 外层的是1组 内层是2组 第二部分： \number number表示的是组的编号 第三部分 (?P<名字>) （...
2018-05-25 10:20:27
150
原创 学习Python的日子 Python高级（4）
Python高级 垃圾回收 Python中的垃圾回收是以引用计数为主，标记清除和分代收集（隔代回收）为辅。 有三种情况会触发垃圾回收 1. 调用gc.collect(), 2. 当gc模块的计数器达到阀值的时候。 3. 程序退出的时候 gc模块 通过频繁的处理零代链表中的新对象，Python的垃圾收集器将把时间花在更有意义的地方：它处理那些很快就可能变成垃圾的新对象。同时只在...
2018-05-25 10:19:50
239
原创 学习Python的日子 Python高级（3）
Python高级 动态语言 动态语言：python 运行期间 静态语言： C java 编译 源文件 ---》 产生文件 ----》运行 1.编译 源文件 源代码 2.字节码 3.字节码送到解释器运行 动态添加 动态添加方法 person.eat = eatprint(dir(person)) 调用添加的方法 person.eat() ...
2018-05-25 10:19:06
159
原创 学习Python的日子 Python高级（2）
Python高级 闭包 闭包定义 1.闭包函数必须有内嵌函数； 2.内嵌函数需要引用该嵌套函数上一级namespace中的变量； 3.闭包函数必须返回内嵌函数； • 通过这三点，就可以创建一个闭包； • Python装饰器就是使用了闭包。 print(func) # 函数引用： 引用的也是一块内存空间 return inner_test # 返回内层函数的引用 ...
2018-05-25 10:18:20
256
原创 学习Python的日子 Python高级（1）
Python高级 比较 is print(a is b) # 比较的是地址 id(a) == id(b) True == print(a == b) # 比较的是内容 100 == 100 True 可变类型：列表 集合set 字典 不可变类型 元组 (不可变的，但是如果两个元组中的内容虽然相同，但是是两个不同的地址) 字符串（不可变，也是共享的一块...
2018-05-25 10:16:42
201
原创 Python（字符串常见函数）
字符串常见函数 find find() 从左侧查找第一次出现"!"的位置 --->下标位置 # index=s.find("!")# print(index) # 5# index=s.find("#") # 如果要查找的字符没有出现在字符串中则返回-1# print(index)# # rfind() right find()# index=s.rfind("g") # 返...
2018-05-22 18:31:58
299
原创 Python（异常）
异常 定义 异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行 编译通过 ----> 运行期间 两种类型 语法错误 SyntaxError: invalid syntax 异常 ZeroDivisionError: division by zero 异常都是在运行期间发生的问题. 什么是异常? 列表下标越界 文件读取 类型错...
2018-05-22 18:31:06
132
原创 python（模块）
模块 定义 模块在python中就是一个py文件 好处 1.最大的好处是大大提高了代码的可维护性。 2.使用模块还可以避免函数名和变量名冲突。 相同名字的函数和变量完全可以分别存在不同的模块中 查看模块的位置 交互模式下: import os,random,io random.__file__ ----> 查看模块所在的位置 可以导入的模块 系统 import ...
2018-05-22 18:30:36
119
原创 Python（面向对象）
面向对象 面向对象: java c# php 面向过程: c python: 面向对象和面向过程 概念 test.pynum=0def 函数名1(): 函数体def 函数名2(): 函数体# 声明类class Person: 类体: 属性 方法# 调用函数名1()函数名2()person=Person() 面向过程:1.英雄联盟 登录账号 选择游戏区域 选择游戏模...
2018-05-22 18:30:00
150
原创 Linux（VI操作）
VI vi简介 vi是“Visual interface”的简称，它在Linux上的地位就仿佛Edit程序在DOS上一样。它可以执行输出、删除、查找、替换、块操作等众多文本操作，而且用户可以根据自己的需要对其进行定制。Vi不是一个排版程序，它不象Word或WPS那样可以对字体、格式、段落等其他属性进行编排，它只是一个文本编辑程序。 vi没有菜单，只有命令，且命令繁多。 Vi有三种基本工作模式： ...
2018-05-22 18:29:05
384
原创 学习Python的日子 Python（11）
Python 生成器 1.列表推导式 [x for x in range(5)] --->obj=(x for x in range(5)) next(obj)2.函数+yield def 函数名(): .... yield value ----> 类似:return value .... 调用函数: obj=aa()3. 函数: next(obj) obj.__...
2018-05-21 19:35:51
374
2
原创 学习Python的日子 Python（10）
Python 嵌套的包 Phone 是最顶层的包，Voicedta 等是它的子包。 第一种 import Phone.Mobile.AnalogPhone.Mobile.Analog.dial() from 顶层包.子包.模块名顶层包.子包.模块名.函数( ) 第二种 from Phone import MobileMobile.Analog.dial('555-1212') ...
2018-05-21 19:35:14
191
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人