- 博客(27)
- 收藏
- 关注
RSS订阅
原创 Airbnb房源信息爬取（三）——监测房源每日预订情况
上回说到已经获取了全部的相关房源的基本信息和展示图片，后面师兄又提了一个想要了解上海部分房源在2018年下半年的预订情况的要求。本着送佛送到西的思想，我就应下来一起做了。思路还是那个思路，只不过这次的房源id已经在第二步中筛选出来，单独存储到一个本地excel中。这里用excel主要是因为数量并不大，估计也就一百来个，也就懒得用数据库去存取了。关于这个excel的结构呢，也是超简单，第一行是房...
2019-03-11 13:33:05
1112
原创 Airbnb房源信息爬取（二）——获取房源信息
上次说到获得了城市的id和query信息，存储在本地文本或数据库中，今天要做的就是利用这些信息构建查询连接爬房源信息了。依旧是熟悉的配方，打开链接和辅助工具，找到网页返回数据的链接和json数据：关于链接格式的分析昨天已经说过了，今天只要从本地读取参数和固定的url部分组合起来逐一请求即可。url = 'https://www.airbnb.cn/s/plus_homes?refineme...
2019-03-09 09:12:43
5143
6
原创 Airbnb房源信息爬取（一）——获取城市列表
编程初衷去年这会儿，实验室师兄论文需要获取短租房源数据，老师顺手就把任务给了我和一个同门：你们先下个几千张吧，不要多，先看看图片质量，后面再慢慢来。几千张？？还有后面？？打扰了…想着下载都是重复工作，应该可以用爬虫解决吧，虽然没写过！画个时间学一学也好过人工无差别劳动嘛~综上 就开始我蒙逼又摸瞎的爬虫之旅这里插播一条参考资料：崔庆才的个人博客 https://cuiqingcai.com...
2019-03-08 14:39:09
3558
4
原创 负载均衡-日志字段、常见指标
负载均衡-日志字段、常见指标1.负载均衡是做什么的？ 在一开始呢，我们一般都会用一台服务器提供服务，但是随着业务量增大，这个时候就需要进行扩容以防止服务器过载出现问题。比如朱一龙的镇魂开播那段时间，正当红的居老师每次发微博，由于热度过高，导致新浪微博总是崩掉。 一般会把多台服务器组成一个集群对外提供服务，但是从用户的角度是感知不到的，他们的访问的入口均为www.weibo.com(举个...
2019-08-20 18:23:03
1738
原创 anaconda-python2和python3共存
anaconda-python2和python3共存由于工作原因，要使用python2，可是电脑装的Anaconda的python3，而且用Anaconda的spyder用习惯了，┭┮﹏┭┮，可把我折腾死了。前提条件已经安装anaconda2或者anaconda3（哪一个为主版本都可以）步骤（1）检查conda环境conda info -e我选的主版本是anaconda3，即...
2019-07-08 17:07:06
559
翻译 【读书笔记】《大数据大创新：阿里巴巴云上数据中台之道》
今天开始阅读《大数据大创新：阿里巴巴云上数据中台之道》，对数据中台的建设非常感兴趣，也是我日后的求职方向，冲鸭！大数据发展价值数据量飞速增长从TB到PB用了20年，从PB跃升至ZB仅用了不到10年，IDC等权威机构的预算，全球数据量以每年40%左右的速度持续增长，2020年全球数据量将达到40ZB。用“4V”来总结大数据的核心特征——volumn（大量），Variety（多样），v...
2019-04-11 10:22:07
5427
原创 【MySQL学习】mysql小抄
最近要开始深入的学习SQL了，想把一些必会知识点汇总在一个文章里，方便我查询，我属于学过不用就忘记的人，感觉打小抄太适合我了~操作表
2019-04-09 09:41:47
243
原创 【python机器学习】中文情感分析
3月31日，3月最后的一天接到了腾讯HR终面，看着招聘官网变成已完成还有点小自豪呢然后百度搜了搜显示“已完成”是不是稳了，原来不是，好多最后被通知没被录取。。。。随缘吧~代码还要继续码，博客还要继续更，论文还要继续写。。。。。数据源公众号文章：Python有趣|中文文本情感分析罗罗攀在里面有发数据，大家以后可以跟着他的公众号进行学习，非常适合我这种小白哈哈哈哈哈哈这是大众点评上...
2019-04-02 18:01:17
7357
3
原创 【Python有趣打卡】杭州高德POI吃喝玩乐分析
高德地图API之前一直用的百度地图API，最近使用百度地图体验实在太差了，改用了高德地图，正好看到公众号：罗罗攀有推送python玩转高德地图的推文，今天就来试试分析下杭州的名胜古迹和美食小吃~了解API调用方法，最快的方式就是阅读技术文档：https://lbs.amap.com/api/webservice/guide/api/search使用API前需先申请Key，若无高德地图AP...
2019-04-01 15:56:28
1026
原创 【Python有趣打卡】利用pandas完成数据分析项目（二）——爬微信好友+分析
今天依然是跟着罗罗攀学习数据分析，原创：罗罗攀（公众号：luoluopan1）Python有趣|数据可视化那些事（二）今天主要是pyechartsPS:数据分析真的有点难，感觉学的只是工具，思维很难学，要多思考才行。接上文：【Python有趣打卡】利用pandas完成数据分析项目（一）数据源...
2019-03-27 13:51:10
513
原创 【Python有趣打卡】利用pandas完成数据分析项目（一）
【Python有趣打卡】数据分析pandas完成数据分析项目今天依然是跟着罗罗攀学习数据分析，原创：罗罗攀（公众号：luoluopan1）学习Python有趣|数据分析三板斧。今天是在DD大数据团队实习的第一天，正式开始数据分析之旅，很开心，感觉离自己的梦想又进了一步~数据源数据来源https://www.kaggle.com/starbucks/store-locations （...
2019-03-25 17:38:04
4202
3
原创 【MYSQL学习】面试题：查询每个班的第二名（考虑并列）的信息
查询每个班的第二名（考虑并列）数据源create table s1 (id int,name varchar(10),score int,classno int)insert into s1 values(1,xxj,100,1),(2,xxj2,100,1),(3,xxj3,99,1,),(4,xxj4,99,1),(5,xf,99,2),(6,xf2,98,2)...
2019-03-20 22:22:28
3493
1
原创 【MYSQL学习】触发器
数据库的触发器是由事件来触发某个操作，这些事件包括insert语句，update语句和delete语句。不需要用什么进行调用，只要一个预定义的事件发生就会被自动调用。数据源create table t_dept(deptno int(4),deptname varchar(20),product varchar(20),location varchar(20));insert in...
2019-03-16 13:33:29
291
原创 【SQL报错】存储过程和函数中的定义变量报错、条件、光标
定义变量报错BEGIN DECLARE test_sql int; set test_sql = 30;end;报错：1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to ...
2019-03-14 23:49:22
1141
原创 【SQL报错】This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA
错误提示如下：This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA inits declaration and binary logging is enabled (you might want to usethe less safe log_bin_trust_function_creators variab...
2019-03-14 11:09:51
364
原创 【MySQL学习】多表查询必会知识
SQL语句+Navicat 多表查询这几天面试问了很多SQL的问题，之前本科学过，但是由于长时间不用导致已经忘掉一些重要的知识点，今天开始慢慢把他们补起来，哈哈哈哈哈。加油鸭！PS：今天拒掉了一个很喜欢的主管的offer，真觉得好惋惜，但是为了未来发展还是想做自己喜欢的，职场还是很无情的。多表查询内连接外连接子查询数据准备学生表create table t_stud...
2019-03-14 00:02:38
1333
原创 【MySQL学习】navicat+mysql不能使用‘\G’
如题： navicat+mysql不能使用‘\G’（一）‘\G’不需要加分号mysql-cmd页面：mysql-cmd页面：（二）使用Navicat第三方工具是不支持’\G’的mysql-navicat界面：...
2019-03-08 22:54:08
5176
原创 【MYSQL学习】（一）Navicat如何导入sql文件？
【MYSQL学习】（一）Navicat如何导入sql文件？方法一：拖动接连好数据库后，选择创建的新的数据库，选中表，将需要导入的文件拖即可，会弹出对话框，选择开始后，再关闭即可。记住！最后一定要点击刷新！！！！他才会出来。方法二：同样最后要记得点击刷新。...
2019-03-08 10:29:07
4569
原创 【Python有趣打卡】微博APP榜单爬虫，尽知天下事（二）
【Python有趣打卡】微博APP榜单爬虫，尽知天下事（二）今天继续学微博热榜爬虫！不过已经完成了爬虫工作，今天主要是学习对之前爬取下来的数据进行数据分析！打开之前爬取的csv文件~开心结果都是乱码，破坏我学习的心情，不过没关系CSV打开乱码解决办法方法一：新建一个excel文件~就可以啦~~方法一：直接用txt打开csv，点击保存，选择编码方式为：读取文件##...
2019-03-07 18:12:17
376
1
原创 【Python有趣打卡】微博APP榜单爬虫，尽知天下事（一）
【Python有趣打卡】微博APP爬虫，尽知天下事【Python有趣打卡】微博APP榜单爬虫，尽知天下事今天要学微博热榜爬虫！激动！热榜肯定有我居居老师，最喜欢爬虫啦~今天爬虫要用到一个小工具！！！ Fiddler！！！官网：https://www.telerik.com/fiddler下载后直接安装即可配置：Tools→Option→如图→重启软件！！！！记得重启重启了吗？...
2019-03-07 13:20:56
2256
1
原创 【python数据分析】-数据分组和聚合数据分组聚合（一）-分组
python数据分析-数据分组聚合（一）-分组又开始我的好好学习之旅，今天学习数据分析,居老师日常动力！今天要学数据分组和聚合，分组统计在数据分析中运用的比较多，还有数据透视表也是数据分析必备的技能，今天来get一下~1.数据源数据源：Python第三方库seaborn（用于绘图）中自带的数据import numpy as npfrom pandas import Series,Da...
2019-03-06 14:28:17
2547
原创 【Python有趣打卡】python—调用百度人脸识别API计算颜值
python—调用百度人脸识别API计算颜值python—调用百度人脸识别API计算颜值今天要跟着罗罗攀（公众号：luoluopan1）学习Python有趣|寻找知乎最美小姐姐参加了罗罗攀的python打卡，太有意思了，安利给大家，原文：https://mp.weixin.qq.com/s/M64NBbAFglxscPOvuz0r-w此文章仅为学习文章~~爬虫网页：https://ww...
2019-03-04 22:09:21
1440
原创 【python数据分析】-数据清洗与整理
python数据分析-数据清洗与整理又开始我的好好学习之旅，这周学习数据分析,居老师日常动力！今天要学pandas数据清洗、合并、重塑以及字符串处理1.数据清洗处理缺失值第一步：找出缺失值主要通过 **isnull **和 **notnull **方法返回 **布尔值 **来判断什么位置有缺失值(注：使用juypter notebok)from pandas import Dat...
2019-03-04 15:00:24
6145
1
原创 用tqdm实现代码显示进度条-python
今天看到（公众号:大邓和他的Python）发了一篇<如何让python代码显示进度信息？>hin有意思~学习下要用到一个库——tqdm在执行需要多次迭代耗时长的代码时，可以利用tqdm库来显示任务进度条。常用的是tqdm模块中的tqdm和trange。那就在命令行中安装下吧~pip install tqdm如何使用呢？1.tqdm.tqdm(可迭代对象)将迭代对象放入...
2019-01-18 17:14:06
6117
3
原创 绘制图形，挑战上色分形树-python
python绘制图形最近太懈怠啦~没有好好学习，赶紧把课程补一补,居老师日常动力！今天要学小乌龟库——turtle库小乌龟库比较特别，大部分的语句都是 <a>.<b>()的形式：表示使用<a> 中的方法<b&amp
2019-01-18 11:05:21
717
原创 通过汇率兑换初学pycharm-python
通过汇率兑换熟悉pycharm-python之前一直使用anaconda，因为比较方便，我需要的包基本都已经安装好了，而且按钮点点可以一行或者几行去运行代码找错，很适合我这种小白，最近看的教程都是用pycharm，看他们用pycharm的一些快捷键，卧槽！太酷了吧！入坑了入坑了~贼好用的两个快捷键：整体缩进：选中+Tab整体注释：Ctrl+/贼好用的小功能：1.python conso...
2019-01-17 13:24:05
666
原创 python爬虫之selenium+chrome 爬去淘宝商品信息
selenium+chrome 爬去淘宝商品信息初学selenium，有点小心得分享下~~首先默认你安装好了selenium+chrome，其中chromedriver下载后把文件解压，然后放到本机chrome浏览器文件路径里，网上有很多配置方法，自行百度即可。有头和无头搜selenium发现有有头和无头两种，大概明白有头就是使用selenium会自动打开浏览器，无头就是在背后默默的运行，...
2018-12-27 16:14:26
1286
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人