海林Lin-CSDN博客

原创【PythonPlanet】数据清洗-空值转换

原数据中空值并没有留空，而是用“\“，”-“，”无“等字符标注，有什么好办法可以处理？创建原始数据import pandas as pddata = [[100], ['/'], ['无'], [99]]columns = ['成绩']df = pd.DataFrame(data = data, columns = columns)df转换空值df['新成绩'] = pd.to_numeric(df.成绩.astype(str).str.replace(',', ''), er

2021-09-20 10:12:46 225

原创【SQLPlanet】共享单车运维团队面试题

表1：emp表2：attend1.上周每天分城市分职务的在岗人数和出勤率出勤率=当天有效出勤人数/当天在岗人数（出勤会有多次编辑，相同出勤ID按gmt_modify降序排列，取最新1条）Sql语句：SELECT e.pt, e.city_name, e.group_type, COUNT(e.emp_id) AS num, round( COUNT(b.id) / COUNT(e.emp_id), 2 ) AS attend_rateFROM emp AS eLEF

2021-04-24 22:39:51 416 2

原创【VBAPlanet】日期调整与多条件匹配

主要知识点1.循环语句2.多条件匹配-条件判断-数组-字段3.函数_日期类型转换代码示例Option ExplicitDim wb As Workbook, sht As Worksheet, sht_info As WorksheetDim file_path As String, file_name As StringDim dic As Object, dic_sn As Object, dic_zl As Object, dic_yh As Object, dic_xz As Ob

2020-11-06 17:35:17 684

原创【PythonPlanet】数据可视化_词云展示

今天做一个数据可视化的项目。我们经常需要对分析的数据提取常用词，做词晕展示。比如一些互联网公司会抓取用户的画像，或者每日讨论话题的关键词，形成词云并进行展示。再或者，假如你喜欢某个歌手，想了解这个歌手创作的歌曲中经常用到哪些词语，词云就是个很好的工具。最后，只需要将词云生成一张图片就可以直观地看到结果。在今天的项目里有3个目标需要掌握：掌握词云分析工具，并进行可视化呈现；掌握Python爬虫，对网页的数据进行爬取；掌握XPath工具，分析提取想要的元素。制作歌词词云假如我们现在要给毛不易的

2020-10-15 16:23:46 573

原创【PythonPlanet】爬虫_设置随机的UserAgent

为了避免因为使用同一头部信息导致网站服务器拒绝你的请求，可以使用fake-useragent库实现每次请求带不同的http头部信息。代码如下：# 先在终端安装第三方库，pip install fake-useragentfrom fake_useragent import UserAgentua = UserAgent(verify_ssl = False)# 模拟不同的浏览器print(f'Chrome浏览器：{ua.chrome}')# print(ua.safari)# print(

2020-09-07 17:31:42 119

原创【PythonPlanet】爬虫_协程和队列

前言当我们想要爬取的是成千上万条的数据，那么就会遇到一个问题：因为程序是一行一行依次执行的缘故，要等待很久，我们才能拿到想要的数据。既然一个爬虫爬取大量数据要爬很久，那我们能不能让多个爬虫一起爬取？这样无疑能提高爬取的效率，就像一个人干不完的活儿，组个团队一起干，活一下被干完了。这是一个很好的思路——让多个爬虫帮我们干活。具体怎么用Python实现这事呢？我们可以用协程和队列。代码示例用协程和队列爬取搜狗、新浪、天猫等8个网站。from gevent import monkey# 从ge.

2020-09-04 10:27:53 249

原创【PythonPlanet】函数_闭包

闭包和嵌套函数类似，不同的是，这里外部函数返回的是一个函数，而不是一个具体的值。返回的函数通常赋予一个变量，这个变量可以在后面被继续执行调用。Talk is cheap, show me the code. 比如，我们想计算一个数的 n 次幂，用闭包可以写成下面的代码：def nth_power(exponent): def exponent_of(base): return base ** exponent return exponent_of # 返回值是exponent_of函数sq.

2020-08-09 10:29:35 211

原创【PythonPlanet】爬虫_电影

豆瓣电影TOP250import requestsfrom bs4 import BeautifulSoupheaders = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}list_all = []for n in range(11): # 获取数据 url_page =

2020-08-05 15:24:39 135

原创【PythonPlanet】爬虫_菜谱

# 引用requests库import requests# 引用BeautifulSoup库from bs4 import BeautifulSoupheaders = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}# 获取数据res_foods = requests.get('http:

2020-08-05 15:18:39 130

原创【VBAPlanet】VBA+ADO+SQL，这样取数真香

ADO是什么首先，我们要介绍下ADO。ADO (ActiveX Data Objects，ActiveX数据对象）是微软提出的应用程序接口，用以实现访问关系或非关系数据库中的数据……更多概念信息可以自行搜索。之所以要学习ADO，一个原因是ADO自身的一些属性和方法对于数据处理是极其有益的；更重要的原因是，在EXCEL VBA中，一般只有通过ADO，才可以使用强大的SQL查询语言访问外部数据源，进而查、改、增、删相关数据源中的数据。延伸在具体编程操作上，就形成了四步走发展战略：VBA引用ADO类库

2020-07-24 12:23:39 3191

原创【PythonPlanet】流动图书馆项目

Python基础项目_流动图书馆class Book: def __init__(self, name, author, comment, state = 0): self.name = name self.author = author self.comment = comment self.state = state def __str__(self): status = '未借出'

2020-07-10 09:27:43 296

原创【SQLPlanet】如何将一维表转化为二维表

数据和要求我们有两张表，一张是学生成绩表（score）:另一张是课程表（course）:使用sql语句实现每个学生各科成绩的展示，查询结果如下：过程表首先，为了直观的展示课程名称，我们使用多表联结来实现一个过程表的查询。SQL语句如下：SELECT s.`学号`, c.`课程名称`, s.`成绩`FROM score AS s LEFT JOIN course AS c ON s.`课程号` = c.`课程号`;查询结果如下：条件判断接下来，我们已上面的查询结果作为过程表

2020-06-29 14:20:58 2601

原创【SQLPlanet】使用Python操作MySQL

我们可以通过后端语言对 DBMS（关系型数据库系统）进行访问以及进行相应的操作，这样更具有灵活性，可以实现一些较为复杂的操作。今天我们以 Python 为例，讲解下如何对 MySQL 数据库进行操作。你会掌握以下几个方面的内容：Python 的 DB API 规范是什么，遵守这个规范有什么用？基于 DB API，我们以 pymysql 为例，如何使用它来完成对数据库管理系统的操作？掌握 pymysql 的使用方法之后，如何完成对数据库的增加、读取、修改和删除（即CRUD）操作？Python D

2020-06-24 10:46:31 178

原创【SQLPlanet】打车业务数据分析

背景数据公司的app（类似滴滴、uber）为用户提供打车服务。现有四张表，分别是“司机数据”表，“订单数据”表，“在线时长数据”表，“城市匹配数据”表。以下是四张表的部分数据和部分字段含义：1.司机数据2.订单数据上表中的“产品线id”：1表示专车，2表示企业专车，3表示快车，4表示企业快车3.在线时长数据4.城市匹配数据业务问题分析出2020年8月各城市每天的司机数、快车订单量和快车流水合计。分析出2020年8月和9月，每个月的北京市新老司机（首单日期在当月为新司机）的司机数

2020-06-13 14:46:07 896

原创【PythonPlanet】数据清洗原则：完全合一

拿做饭打个比方，对于很多人来说，热油下锅、掌勺翻炒一定是做饭中最过瘾的环节，但实际上炒菜这个过程只占做饭时间的20%，剩下80%的时间都是在做准备，比如买菜、择菜、洗菜等等。

2020-05-26 17:59:27 1545

原创【PythonPlanet】Python科学计算：Pandas

今天要介绍的是Python中一个非常常用的工具Pandas。在数据分析工作中，Pandas的使用频率是很高的，一方面是因为Pandas提供的基础数据结构DataFrame与json的契合度很高，转换起来很方便。另一方面，如果我们日常的数据清理工作不是很复杂的话，通常用几句Pandas代码就可以对数据进行规整。Pandas可以说是基于NumPy构建的含有更高级数据结构和分析能力的工具包。在NumPy中数据结构是围绕ndarray展开的，那么在Pandas中的核心数据结构是什么呢？隆重有请Series和

2020-05-20 11:08:43 421

weixin_42814182的博客

原创【PythonPlanet】数据清洗-空值转换

原创【SQLPlanet】共享单车运维团队面试题

原创【VBAPlanet】日期调整与多条件匹配

原创【PythonPlanet】数据可视化_词云展示

原创【PythonPlanet】爬虫_设置随机的UserAgent

原创【PythonPlanet】爬虫_协程和队列

原创【PythonPlanet】函数_闭包

原创【PythonPlanet】爬虫_电影

原创【PythonPlanet】爬虫_菜谱

原创【VBAPlanet】VBA+ADO+SQL，这样取数真香

原创【PythonPlanet】流动图书馆项目

原创【SQLPlanet】如何将一维表转化为二维表

原创【SQLPlanet】使用Python操作MySQL

原创【SQLPlanet】打车业务数据分析

原创【PythonPlanet】数据清洗原则：完全合一

原创【PythonPlanet】Python科学计算：Pandas

原创【ExcelPlanet】电商母婴用品购买情况分析

原创【PythonPlanet】二手房产成交数据分析

原创【ExcelPlanet】SUMPRODUCT函数用法：单条件、多条件、模糊条件求和与计数

原创【SQLPlanet】基于迁徙率等指标浅析拍拍贷逾期数据（未完待续）

原创【VBAPlanet】操作单元格对象的常用代码

原创【VBAPlanet】如何灵活快捷的合并工作簿

原创【VBAPlanet】单元格对象那些事

原创【VBAPlanet】如何用字典处理多条件查询

原创【ExcelPlanet】index & match，就这样自如地查询数据

原创【VBAPlanet】如何实现数据精确查询与匹配

空空如也

空空如也