- 博客(22)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hive sql : 查询连续登录天数
查询连续登录天数1.问题描述2.在Hive中建表3.查询最大连续登录天数1.问题描述目前有两列数据，分别是用户ID和用户登录的时间，现需要统计用户连续登录的最大天数，中间如有断开，则不算连续，如下图示例。2.在Hive中建表在Hive中进行操作，首先启动Hadoop集群环境，进入到Hadoop安装目录，sbin/start-dfs.sh ，jps查看Hadoop集群有无正常启动正常启动后，输入hive启动hive。使用之前建立的test数据库，没有可以自行创建一个数据库，在test数据库下新
2021-01-26 09:59:02
1986
原创 Hive安装第二步：CentOS7安装jdk1.8.0，MySQL5.7，Hadoop2.10.1，Hive2.3.7，sqoop1.4.7，Navicat连接hive，MySQL驱动jar包
CentOS7安装jdk1.8.0，MySQL5.7，Hadoop2.10.1，Hive2.3.71.CentOS7中安装jdk1.8.02.CentOS7安装MySQL5.73. MySQL连接java，MySQL的驱动jar包下载4.CentOS7安装Hadoop2.10.14.1 hadoop-env.sh配置4.2 core-site.xml配置4.3 mapred-site.xml.template配置4.4 hdfs-site.xml配置4.5 修改环境配置4.6 初始化和启动dfs4.7运行W
2021-01-14 18:04:21
1729
1
原创 Hive安装第一步：使用VMware Workstation创建虚拟机，搭建CentOS7系统环境，Linux下网络配置，Xshell连接虚拟机
Vmware14安装，新建虚拟机向导，搭建centOS7系统环境，Linux下网络配置，Xshell连接虚拟机1.下载地址1.1 vmware下载地址：1.2 centos下载地址2.Vmware的安装3.使用VMware Workstation创建虚拟机4.配置CentOS7系统环境5.Linux下网络的配置及Xshell连接虚拟机最近想学hive，本地没有环境，所以从头到尾安装了一遍hive需要安装的东西，包括Vmware的安装，创建虚拟机，配置CentOS系统环境，linux下网络的配置，hadoo
2021-01-14 13:45:37
2297
2
原创 《GrowingIO指标体系与数据采集》读书笔记
《GrowingIO指标体系与数据采集》整理一下最近看的一本书《GrowingIO指标体系与数据采集》下载链接：https://pan.baidu.com/s/1C62rmeedpSmLO1CroSxdkQ 提取码：7lotGrowingIO将数据驱动从上往下依次划分为四个层次：数据规划、数据采集、数据分析和数据决策。从数据规划、数据采集、数据分析和数据决策四个层次，介绍了科学规划指标体系，高效进行数据采集，正确管理数据指标和指标体系实战案例。1.如何进行数据规划，搭建指标体系，首先指出
2020-11-19 22:05:04
1083
原创 Linux环境下安装pytorch1.0.1(python3.7,cuda9.0)和pytorch0.4.1(python2.7,cuda9.0)
Linux环境下安装pytorch由于之前安装的pytorch版本与CUDA版本不兼容，导致pytorch无法使用CUDA训练代码，将pytorch进行了卸载重装，记录一下自己卸载重装pytorch的过程，少走些弯路。uninstall pytorch首先是卸载原来的pytorch，显示Successfully uninstalled torch就是卸载成功了。pip uninstall torchProceed (y/n)? y Successfully uninstalled torch-
2020-11-19 21:41:49
3458
1
原创 python之信贷风险数据分析及逻辑回归预测,sklearn特征工程
最近看的一些风险信贷相关的一些写的比较详细的博客，还有使用sklearn进行特征工程的博客，单纯的进行简单整理和记录，详细的可以点击链接。文章目录1.Python案例分析之客户信贷预测模型2.利用LendingClub数据建模3.使用sklearn做特征工程1.Python案例分析之客户信贷预测模型来自 https://blog.csdn.net/weixin_43656359/article/details/104683553文章发布于2020-3-14该网页中内容主要介绍了客户信贷预测的一般流
2020-08-19 22:39:54
2544
原创 《数据化管理-洞悉零售及电子商务运营》-零售行业分析指标，电商行业分析指标等
整理了一下最近看的一本书书名：《数据化管理-洞悉零售及电子商务运营》作者：黄成明(@数据化管理) 著主要内容：本书主要通过一些案例深入浅出的讲解了数据意识和零售思维。作者将各种数据分析方法融入到实际的业务场景中，最终形成数据化管理模型，从而帮助企业提高运营管理能力。在该书中涉及到一些行业相关的指标，零售行业，电商行业等等。整理了一下方便记忆，以及后续用到。但是不知道怎么上传导图，先放一些图片，届时再将书籍资源和导图资源上传。还有好多书没看，还有好多笔记没整理，要加油！！！...
2020-06-21 11:50:22
1120
原创 python数据分析基本语法：数据类型转换，pandas分组，级联合并操作等
文章目录1.删除无用的列2.数据类型转换成时间序列类型3.将某列做为原始数据的行索引4.定位条件5.计算滚动均值6.pandas分组7.pandas处理空值8.pandas处理重复值9.pandas处理异常值10.python生成日历11.pandas级联操作12.pandas合并操作13.pandas数据排序14.pandas生成随机数15.pandas替换操作16.pandas映射操作17.python透视表18.pandas交叉表1.删除无用的列df.drop(labels='列名',axis=1
2020-05-31 13:25:34
782
原创 爬虫实战：链家租房数据爬取，实习僧网站数据爬取
前面已经进行了爬虫基础部分的学习，于是自己也尝试爬了一些网站数据，用的策略都是比较简单，可能有些因素没有考虑到，但是也爬取到了一定的数据，下面介绍两个爬过的案例。爬虫实战链家网站爬取实习僧网站爬取链家网站爬取链家网站的爬取不难，我爬取的主要是租房数据，看一下页面：我需要爬取的字段有房子的名称，小区，面积，朝向，户型，以及房租。代码比较简单，主要使用了requests和xpath进行爬取...
2020-04-27 19:28:38
2992
10
原创 Day05 爬虫学习第五天：Scrapy异步爬虫框架，持久化存储方式，数据库连接
主要学习了Scrapy异步爬虫框架1.scrapy介绍- Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。- 该框架就是一个集成了各种功能(高性能异步下载，队列，分布式，解析，持久化等)的具有强通用性的项目模板。- Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。- 对于Scrapy框架学习，重点是要学习Scrapy框架的特性，各个功能的...
2020-04-19 00:56:40
518
原创 数据库练习题：使用mysql分析销售数据
1.统计不同月份的下单人数2.统计用户三月份的回购率和复购率3.统计男女用户的消费频次是否有差异4.统计多次消费的用户，第一次和最后一次消费间隔是多少?5.统计不同年龄段，用户的消费金额是否有差异？6.统计消费的二八法则，消费的top20%用户，贡献了多少额度使用sql完成上面的问题首先导入本地csv文件到mysql，有两种方式第一种，直接导入，如下图所示：注意：csv表要有表...
2020-04-15 22:49:04
1458
7
原创 Day04 爬虫学习第四天：Selenium捕获动态加载数据，12306模拟登录
文章目录Selenium捕获动态加载数据selenium模拟12306登录学习了Selenium捕获动态加载数据和Selenium模拟12306登录Selenium捕获动态加载数据我是在chorme浏览器中进行爬虫的，在进行Selenium动态爬取之前，需要先下载choremdriver驱动，可以通过下面的链接下载对应的版本。chormedriver下载 http://chromedri...
2020-04-12 22:27:22
432
原创 Day03 爬虫学习入门第三天：验证码识别，模拟登录，异步爬虫
验证码识别线上的打码平台进行验证码识别云打码 http://www.yundama.com/超级鹰(使用) http://www.chaojiying.com/打码兔超级鹰注册：身份(用户中心)登陆：身份(用户中心)创建一个软件：软件ID-》生成一个软件ID下载实例代码：开发文档-》python用到了一些软件，自行斟酌采取与否，这里跟着学习的采用是超级鹰验...
2020-04-04 01:53:59
339
原创 Day02 爬虫学习入门第二天:正则,bs4,xpath,爬虫实战
虽然今天很累，但是其实也没有学很多东西，还是来整理一下，以免忘记，之后会自己去爬一些网站数据…今天主要学了bs4和xpath，分为这两个部分来整理笔记：文章目录1.bs4解析2.xpath解析1.bs4解析为什么需要在爬虫中使用数据解析就是为了可以实现聚焦爬虫数据解析的通用原理（解析的数据指挥存在于标签之间或者属性中）html是用来展示数据原理流程：标签定位数据的提...
2020-03-31 23:02:23
286
原创 Day01 爬虫入门学习：动态数据加载，爬取图片，json嵌套形式读取数据
爬虫学习整理一下今天学习的内容，因为在以后的数据分析行业中会用到数据采集，所以打算花一段时间来学习爬虫。可能是因为不太会，感觉很多网站的反爬机制都在不断的更新…1.爬虫基本概念爬虫-就是通过编写程序，让其模拟浏览器上网，然后去互联网上抓取数据的过程模拟：浏览器就是一款天然的爬虫工具抓取：抓取一整张数据，抓取一整张数据的局部数据爬虫的分类通用爬虫：抓取一整张页面源码数据...
2020-03-31 00:07:06
352
原创 Linux运维学习路线：详见阿里巴巴运维课程
Linux运维学习路线课时1 计算机基础1计算机系统计算机硬件组成操作系统Linux相关介绍Linux哲学思想获取Linux虚拟机功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的...
2020-03-28 22:08:49
269
原创 Excel数据透视表：二维数据转为一维数据
利用数据透视表将excel中的二维数据变为一维数据二维数据表如下图（图中数据均为虚拟）转换后的一维数据表打开数据透视表和数据透视图向导，ALT+D+P，先按ALT+D，然后松开按P，即可打开向导。选择区域可以在现有工作表创建，也可以在新工作表中创建创建后得到表格如下可以直接双击右下角得到一维数据图，也可以取消对行列的勾选，如下图所示得到一个求和项，双击求和项的数值...
2020-03-28 22:06:43
587
原创 High-Speed Ship Detection in SAR Images Based on a Grid Convolutional Neural Network 20190904
High-Speed Ship Detection in SAR Images Based on a Grid Convolutional Neural Network Abstract1. Introduction2. Methodology2.1.Dataset2.2 G-CNN2.3. Model2.4. Anchor Box2.5.Evaluation Indicator3. Experi...
2019-09-04 16:18:17
6156
2
原创 翻译：基于SSD和迁移学习实现对SENTINEL-1图像的船舶检测
翻译：COMBINING SINGLE SHOT MULTIBOX DETECTOR WITH TRANSFER LEARNING FOR SHIP DETECTION USING SENTINEL-1 IMAGESABSTRACTSynthetic aperture radar (SAR) images are all-weather, all-time, and wide coverage...
2019-05-23 21:01:26
2055
1
原创 FoveaBox: Beyond Anchor-based Object Detector论文笔记
FoveaBox: Beyond Anchor-based Object DetectorarXiv:1904.03797v1 [cs.CV] 8 Apr 2019论文地址：(https://www.researchgate.net/publication/332300345_FoveaBox_Beyond_Anchor-based_Object_Detector)提出了一种新的不需要...
2019-05-18 11:18:13
332
原创 Jupyter notebook快捷键(官方)
Jupyter notebook 快捷键Jupyter notebook快捷键(官方)The Jupyter Notebook has two different keyboard input modes. Edit mode allows you to type code/text into a cell and is indicated by a green cell border. Co...
2019-05-07 20:20:02
228
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人