- 博客(10)
- 收藏
- 关注
RSS订阅原创 Hive最大连续登陆天数
分类详情参数设置业务场景实现用户最大连续登陆天数问题汇总参数设置业务场景实现用户最大连续登陆天数问题是用户登陆埋点，会记录用户的id和记录的日期，原始数据如下：iddsA2019-01-01B2019-01-02A2019-01-02A2019-01-04B2019-01-03B2019-01-04B2019-01-0...
2019-12-11 16:40:28
1588
1
原创 VIM使用笔记
这是一篇拖更了两年的文章，主要介绍一下如何配置vim，让他变成一个强大的开发工具。什么是VIM计算机的世界里，一切数据，程序代码都是用文件进行储存的。VIM就是一个通用的文件编辑软件。在WINDOWS中，默认通用的文件编辑软件是记事本，当然也可以通过下载其他软件进行替换。在LINUX中，vim则是被使用较多的那一个。相对于其他文本编辑软件，vim具有纯命令行（手不需要离开键盘），开源（各种插件...
2019-07-01 12:47:56
149
原创 Python网络爬虫笔记
基本流程爬虫基本流程还是很清晰的，首先是GET页面，然后对页面进行处理，提取所需信息。重点大多在GET页面和页面处理中。对于GET页面而言，其本身不应该存在技术难题，但是过于频繁的爬取REQUEST会极大的占用页面PV，影响网站用户体验。因此各大网站都会采取一定的反爬虫措施。所以这一部分的难点就是在于，如何避开反爬虫检测。假设我们爬取下来了页面，接下来要进行的就是如何对页面进行处理。一个页面多...
2019-04-08 14:58:48
252
原创 Windows7 Spark/Hadoop开发环境配置从入门到放弃
工作原因需要在windows下配置开发环境，虽然明知windows搞这种东西就是自我虐待，但是谁让我收了公司的钱呢。Java配置Java JDK下载 WARNING：此步骤需要记录Java安装目录 Java path配置： 控制面板——>用户账户——>改变环境变量 创建变量：JAVA_HOME 变量值：之前记录的安装目录 测试： 打开控制台，输入java -ve...
2018-08-16 13:22:47
753
原创 Spark笔记
基础知识RDD原理Spark 基础Spark 配置conf 和 scRDD操作函数共享变量广播变量累加器基础知识RDD原理[RDD原理详解]Spark 基础[Spark基础教程]Spark 配置conf 和 sc开发Spark程序第一件事就是SparkConf对象，这个对象包含应用的一些信息，然后创建SparkContext，SparkContext可以让Spark知道如何访问集群
2017-03-01 15:29:56
476
原创 ArchLinux桌面环境配置
ArchLinux安装及桌面环境配置先占坑，后完善ArchLinux安装Arch安装比较简单，wiki写的也很详细，网上经验贴也数不甚数，就不多说了，唯一一点是尽量下载最新版镜像，老版镜像中pacman签名会过期，导致安装失败网络配置（需使用root权限）主要分有线和无线两种配置方法，不太建议拨号连接，因为比较麻烦。（拨号连接可以加个路由器）有线网络配置 首先查
2016-11-01 21:12:33
5512
原创 Ubuntu14.04 minicom配置及调试
这个文章主要总结一下，在Ubuntu系统中使用TTL板进行串口调试。 Windows中有很多用于串口调试的软件，在Ubuntu中则使用minicom进行相同的操作。首先是进行minicom都下载安装及初始设置：minicom下载 在终端输入：sudo apt-get install minicom即可。等下载完毕后，就可以对minicom进行初始设置了。初始设置 使用minicom前，要先
2016-06-29 17:05:08
6114
原创 Ubuntu 14.04.4 Android环境配置问题汇总
Ubuntu 14.04.4 Android环境配置问题汇总总结了以下配置过程，和自己配置时候出现都一些错误，仅供参考，不足之处，请多指教
2016-06-22 13:08:44
1120
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人