=-=会飞起来的哈士奇-CSDN博客

原创实现爬取csdn个人博客并导出数据

因为最近也在学习python，爬虫和一点pandas的内容刚好看到一篇博客，博客地址：https://blog.csdn.net/xiaoma_2018/article/details/108231658也是实现一样的内容的，只是使用的方式被我改了一下，我也是借鉴学习大佬的方法我所使用到的库有lxml, urllib.request 代码如下 ''' 导入所需要的库 ''' import urllib.request as ur import lxml.etree as le import pandas

2020-09-24 23:52:07 3472 3

原创 scrapy爬虫-爬取wattpad外网小说网站

目前还在学习爬虫scrapy框架，尝试爬取外网的小说网站：https://www.wattpad.com/stories/adventure 目前只是实现了一部分非常简单的内容爬取还未实现的功能 ‘’‘ 1、将parse1和parse2 的内容结合到一起 2、没有实现根据阅读量去提取作者信息 3、没有实现将内容保存到数据库中 ‘’‘’ 有大佬看了可以指点一下吗？代码如下： import scrapy import re import urllib.response as ur import lxml.e

2020-09-21 16:50:04 2528

原创模型类实现-数据库

本节目标什么是数据库数据库的类型 MySQL简介 MySQL安装 MySQL的服务管理 PyCharm登录MySQL 常用的字段约束表结构创建案例 1.什么是数据库 • 所谓“数据库”，是以一定方式存储在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合； • 我们可以对数据的数据运行新增、截取、更新、删除等操作。 • 关系型数据库 MySQL SQL Server MariaDB PostgreSQL Oracle Sybase • 非关系型数据库 Redis Mo

2020-08-01 14:49:03 154

原创 Web前端技术与框架

本节目标 HTML的语法 HTML的结构 HTML的常用标签 1.HTML介绍 HTML介绍 HTML是Hyper Text Markup Language（超文本标记语言）的缩写 HTML不是一种编程语言，而是标记语言 HTML的语法双标签： <标签名></标签名> 单标签： <标签名/> 元素和属性 <标签名属性名=属性值>元素</标签名> <标签名属性名=属性值/> 3.HTML常用标签 title <he

2020-07-30 15:06:58 335

原创 python路由与模板-Web原理与框架

学习路线 Web前端技术（HTML.JS.CSS)与框架和数据库(MySQL)设计为基础知识动手为主，项目为主一节视频一练习前端 HTML 网页能看到的所有内容 JS 使网页获得动态效果 CSS 使网页更绚丽多彩有的web项目只有前端（全静态页面，用户看到都是一样的）若加入后端功能（登陆后每个人的页面都不一样）通过数据库MySQL 淘宝依赖着后端数据库，查找数据库进行对用户个性化的推荐 Web原理图 HOST地址URL地址 request的本质是字节bytes，遵守HTTP(S)的协议 1.

2020-07-30 11:15:59 120

原创 python异常处理

异常处理 • try: … except ValueError as e: … except ZeroDivisionError as e: … finally: … • Raise 抛出异常 • 自定义异常，所有异常都继承于BaseException类 edu.csdn.net` # # try: # print('try...') # a = 100/ 0 # print('result',a) # except ValueError as e: # print('Val

2020-07-28 14:43:26 73

原创 python函数的高级应用

课程目标理解Python中函数即变量 Map函数 Reduce函数匿名函数装饰器（设计模式）基于以上理论理解Python中函数即变量 • 变量可以指向函数 • 函数名也是变量 • 传入函数 • 函数本身也可以赋值给变量，即：变量可以指向函数 Python内置的map函数 • map()函数接收两个参数，一个是函数，一个是Iterable • map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回 • >>> def f(x): … return x

2020-07-27 23:27:46 145

原创 python特训营-常用设计模式

课程目标列表生成式生成器迭代器列表生成式 • Python内置的非常简单却强大的可以用来创建list的生成式 • 快速的把字典内容转变成list >>> d = {'x': 'A', 'y': 'B', 'z': 'C' } >>> [k + '=' + v for k, v in d.items()] ['y=B', 'x=A', 'z=C'] 生成器 • 循环的过程中不断推算出后续的元素呢？这样就不必创建完整的list，这种一边循环一边计算的机制，称为

2020-07-26 16:00:10 77

原创 python特训营-继承和多态

课程目标继承多态类型判断继承 • 定义一个class的时候，可以从某个现有的class继承，新的 class称为子类（Subclass） • 被继承的class称为基类、父类或超类（Base class、Super class）多态 • 代码运行时才确定对象的具体类型类型判断 • type() #判断一些基础属性 • isinstance() #有继承属性的判断属于哪个类 • dir() #获得一个对象的所有属性和方法 ```python class Anima

2020-07-26 13:33:33 87

原创 python特训营第二章-面向对象编程

课程目标面向对象编程类和实例访问限制实例属性和类属性面向对象编程 • 面向对象编程是一种程序设计思想 • 面向对象把类和对象作为程序的基本单元 • 对象包含属性和方法 • 面向过程编程为：函数的调用集合 • 面向对象编程为：对象之间传递信息的集合 • 处处皆对象类和实例 • 类可以理解为图纸或者模版 • 实例是根据类的图纸或者模版创建出来的一个一个对象 • 类定义class，关键字self • 类的初始化函数__init__ • 面向对象三大特点：继承，封装，多态 • 属性和方法 ```p

2020-07-24 21:18:58 94

原创第一章作业99乘法表的四种输出/统计制定目录大小/模拟取款机功能

# 1) 使用 while 和 for…in 两个循环分别输出四种九九乘法表效果（共计 8 个） #第一种 while 循环 i = 1 while i <=9: j = 1 while j<=i: print('{}*{}={:<4}'.format(j,i,j*i),end='') j += 1 i += 1 # 只是为了换行【到达终止值，换一行】 print()#自带end = /n print('-'*80)

2020-06-30 16:56:41 190

原创 python特训营-文件读写

课程目标 Python内置的文件读写操作通过OS模块进行文件和文件夹操作通过OS模块进行路径操作 Python内置的文件读写操作 • open() 打开或者创建一个文件格式:open(‘文件路径’,‘打开模式’) 打开模式:r w a 等模式具体请参考手册 • close() 关闭文件 • read() 读取文件 • readline() 读取一行文件 • readlines() 将文件中的内容读取到序列当中 • write() 写入文件 • writelines() 将序列写入文件中通过OS

2020-06-29 12:40:03 267

原创 python特训营-函数

课程目标了解函数函数的格式定义函数文档局部变量和全局变量了解函数 • 函数的本质就是功能的封装，和对代码的抽象 • 函数的作用： 5. 避免开发重复性相同代码 6. 便于程序的理解与维护 7. 对底层代码的抽象基本函数格式 def 函数名(): 函数功能代码… 函数功能代码… return（没有return 默认返回None）调用函数: 函数名() 特征:函数定义之后不会自动执行,必须在调用后才会执行函数名的命名规则：驼峰+动词开头 def 函数名(参数,参数….): 函数功能代码… 函

2020-06-28 23:50:35 127

原创 python特训营学习-分支结构/循环结构

单项分支 age = 30 if age >= 18: print(‘your age is’, age) print(‘adult’) 双项分支 age = 13 if age >= 16: print(‘your age is’, age) print(‘adult’) else: print(‘your age is’, age) print(‘teenager’) 多项分支 if <条件判断1>: <执行1> elif <条件判断2>: &..

2020-06-28 17:41:29 130

原创 python特训营学习第一章(数据类型）

String（字符串） • Python中字符串三种标示使用单引号(’) str=‘this is string’ 使用双引号(") str=“this is string” 使用三引号(’’’) str=’’‘this is string’’’ • 字符串切片截取语法如下：变量[起始下标：结束下标：步进] • 反斜杠可以转义特殊字符 • 常用字符串操作函数 len(),replace(),index(),find(),split()等 #3种字符串拼接方式 • List（列表）是一种有序集合，可以随时

2020-06-28 10:49:18 115

weixin_42873348的博客