whk3223-CSDN博客

原创 10.4---Python入门之-爬虫-虎嗅网站内容解析及,及结果保存MySQL表

""""""import urllib.requestimport MySQLdbfrom bs4 import BeautifulSoup"""自定义: 爬取指定网页中,所有的新闻url地址方法"""def parse_index_page(url): ## 获取虎嗅网站首页的内容 index_page = urllib.request.urlopen(url).read().decode("utf-8") ## 解析内容 # 创建一.

2021-05-18 18:00:02 263

原创 10.3---Python入门之虎嗅网站信息爬取-所有的新闻url地址

""""""import urllib.requestfrom bs4 import BeautifulSoup'''定义: 爬取指定网页中,所有的新闻url地址'''############################################### 直接操作# ## 定义需要爬取的网站URL# url = "https://www.huxiu.com"## ## 获取虎嗅网站首页的内容# index_page = urllib.request..

2021-05-17 18:02:23 426

原创 10.2---Python入门之Beautiful Soup 回顾,学习

"""---------------------- beautifulSoup 回顾,学习 --------------------------模块疑问: 一、 beautifulSoup 是什么? 1.是一个可以从HTML或XML文件中提取数据的Python类库.;[即解析html或者xml格式数据的类库] 2.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间. .

2021-05-07 15:38:08 161

原创 10.1---Pytho之 urllib.request 回顾

"""############# urllib.request 回顾 ##############urllib.request里是一个Python的用于获取的URL（统一资源定位器）模块。官网详细： https://docs.python.org/release/3.2/howto/urllib2.htmlurllib.request 方法提供三种不同的请求方式：一、get 请求：方式1：（直接传入url地址） urllib.request.urlopen.

2021-05-06 22:49:03 74

原创 9.1---Python入门之初次连接MySQL

'''001.Python 第一次连接MySQL数据库'''import MySQLdb## 1.创建MySQL的数据库连接db = MySQLdb.connect("ip","user","pwd","dbname",3306)## 2.使用cursor() 方法,获取操作游标:cursor = db.cursor()## 3.定义自己要操作的语句sql1 = '''select * from test;'''## 4.游标对象调用执行方法 execute() ,执行指定.

2021-04-26 22:12:28 52

原创 9.2---Python入门之MySQL的增删改查

'''Python 之 MySQL的增删改查注意: MySQL 是区分大小写的!!! [不管是表名,还是列名,全部区分大小写!!!]'''# !/usr/bin/python3# -*- coding: UTF-8 -*-import MySQLdb########################################################## 一. 创建数据连接## 1.创建数据库连接db = MySQLdb.connect(host="ip.

2021-04-26 22:10:24 46

原创 8.2.2---Python入门之邮箱登录查询操作

'''Python 自定义: 邮件接收依赖的邮件接收包: poplib----------------------------------思路: 1.收件邮箱地址: pop.qq.com（端口：110） [收件地址] 2.账户密码: 3.接收邮件的类库包: import poplib 4.登录邮件服务器: 5.获取数据 [将获取的数据,按照指定格式进行解析,得到自己相要的数据]==============邮箱.

2021-04-24 20:46:34 799

原创 8.2.1---Python入门之邮箱登录查询

'''思路: 1.收件邮箱地址: pop.qq.com（端口：110） [收件地址] 2.账户密码: 3.接收邮件的类库包: import poplib 4.登录邮件服务器: 5.获取数据 [将获取的数据,按照指定格式进行解析,得到自己相要的数据] 6.解析目标邮件:==============邮箱服务器地址================QQ邮箱: POP3服务器地址：pop.qq.com（端口：110）.

2021-04-23 23:15:40 508

原创 8.1---Python入门之发送邮件

'''1.Python发送邮件的包: smtplib2.发送邮件的几个要素: 内容: 发件人: 发件人名称,发件人邮箱; 收件人: 收件人名称,收件人邮箱; 邮件title: 邮件内容: 文本邮件内容[(1.文字+图片,压缩包等信息);(2.HTML邮件)] 服务器: smtp邮箱服务器地址: smtp.qq.com (QQ邮箱服务器地址); 邮箱账户: .

2021-04-21 21:43:41 237

原创 7.2---python通信之:客户端与服务端键入聊天程序

## =====================================================#######server端#########'''==============TCP 连接的服务端==============思路: 1.创建连接方法: socket.socket() 2.绑定地址和端口 3.监听客户端请求 4.接受客户端请求,并为之开启处理业务逻辑的线程======================================

2021-04-20 22:34:09 75

原创 7.1---Python之创建线程

'''创建线程思路: 1.创建线程,需要先导包, 2.创建自己这个线程需要干啥的方法 3.启动该方法'''import threading# 创建自己的run方法, 打印输出入参def run(args1,args2): print("我是run方法,开启一个线程参数1:"+ args1+ " 参数2:" + args2)## 创建一个线程,并传入需要该线程能做的方法,并且给定一个名称,## 可以根据需求,给定参数t.

2021-04-20 22:28:44 100

原创 6---Python之爬虫入门练习

#!/usr/bin/env python3# -*- coding: utf-8 -*-"""urllib 获取服务器资源重要的组件有: import urllib.request # url的请求包 import urllib.parse # url的解析包需求:自定义爬虫,获取百度首页的资源"""## Python3.x版本的标准写法:import urllib.requestimport urllib.parse# 自定义百度的urlfrom bs4 .

2021-04-20 22:27:15 69

原创 5---python之collections集合增强练习

'''collections集合增强 namedtuple: tuple的特性:一旦创建,无法修改. namedtuple 是在tuple的基础上,创建一个结构化的数据框架.相当于表的列名.列名不可变. Deque: 相当于java中的linkedlist，特性：查询慢，删除修改快。 Ordereddict: 可以排序的字典，按照插入顺序排序. Counter：一个简单的计数器，例如.

2021-04-20 22:26:23 79

原创 4---python操作时间

from datetime import datetime, timedelta# 获取当前系统时间now = datetime.now() # 获取当前系统时间print(now)str_time = now.strftime("%Y-%m-%d %H-%M-%S") # 将获取的时间,按照指定格式进行输出,输出为字符串print(str_time)print(type(str_time))# 将字符串转换为时间date = datetime.strptime("20210412.

2021-04-20 22:25:01 77

原创 3---python读取本地文件练习

'''文件的:读,写,覆盖 r: -> read (读) w: -> write (覆盖写入) a: -> append (追加写入)文件的操作方法 f.close()关闭文件，记住用open()打开文件后一定要记得关闭它，否则会占用系统的可打开文件句柄数。 f.flush()刷新输出缓存 f.isatty()如果文件是一个交互终端，则返回True，否则返回False。 f.read(1024)读取1024个字节，返回一.

2021-04-20 22:24:13 236

原创 2---python 面向对象练习

'''定义方法: def method name(self)类中的成员变量 self.name self.age类中的构造器: __init__(self): def __init__(self,参数列表)## 1.注意:self 相当于java中的 this## 2.Java中,所有类的父类都是object;## 3.Python中也是如此,一个类没有直接的父类,就写入 object;'''## 定义一个类: 动物类class Animal(obj.

2021-04-20 22:21:05 82

原创 1---python入门 -- 之循环语法练习

#################################################################### if语句 #############'''判断: 收入小1万的是员工; 收入小于2万的且大于1万的是组长; 收入大于两万的是领导'''# print("请输入你的薪资: ")# money = int(input())# flag = ""# # if money >= 20000:# # flag = "Leader.

2021-04-20 22:18:46 144 1

原创 Hive笔记

1.1Hive简介1.1.1什么是Hive 基于hadoop的一个数据仓库工具，把结构化的数据文件映射为一张数据库表，并提供类SQL查询功能；1.1.1为什么使用HiveØ直接使用hadoop所面临的问题人员学习成本太高项目周期要求太短MapReduce实现复杂查询逻辑开发难度太大Ø为什么要使用Hive操作接口采用类SQL语法，提供快速开发的能力。避免了去写MapReduce，减少...

2018-05-20 15:26:11 596

qingtingwhk的博客