Hadoop
关注
分享
扫一扫
黑桃5200
这个作者很懒，什么都没留下…
展开
-
hadoop的安装及填坑
参考https://blog.csdn.net/chanson_dog/article/details/78997227 创建账户创建账户 useradd heitao -m（默认无密码）（-m 表示自动创建家目录）更改密码 ：先切换到root 然后sudopasswd heitao 输入密码修改hosts文件v...原创 2018-07-10 23:07:10 · 668 阅读 · 0 评论 -
电信项目-通话记录模拟生成程序
自己刚开始学，比小白还白，在网上找的资料，一步一步来，做成动图来演示过程，方便自己回顾，通知也方便和自己一样的小白学习！接下来直接进入主题新建project程序新建module模块添加maven支持建APPJava程序将Java程序打成jar包测试程序 通话记录模拟生成程序下载地址：https://download.csdn.net/do...原创 2018-07-18 21:36:50 · 3624 阅读 · 0 评论 -
离线日志采集流程
数据来源互联网行业：网站、app、系统（交易系统log文件）传统行业：电信，人们的上网、打电话、发短信等等数据数据源（网站、app）都要往我们的后台去发送请求，获取数据，执行业务逻辑；app获取要展现的商品数据；发送请求到后台进行交易和结账，通常由Nginx接收请求，并进行转发 日志文件生成在后台服务器产生日志文件，比如Tomcat、Jetty；但是，其实在面向大量用...原创 2018-07-20 12:33:40 · 2596 阅读 · 0 评论 -
spark web UI端口 4040,18080， 8080页面访问不了
Localhost：4040页面访问不了 是因为history server没开的问题 Spark history Server产生背景 以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Applicatio...转载 2018-03-24 09:15:04 · 24697 阅读 · 2 评论 -
用户访问session分析的基础数据结构及大数据的基本架构
用户访问session分析模块用户访问session介绍：用户在电商网站上，通常会有很多的点击行为： 首先通常都是进入首页； 然后可能点击首页上的一些商品； 点击首页上的一些品类； 随时在搜索框里面搜索关键词； 将一些商品加入购物车； 对购物车中的多个商品下订单； 最后对订单中的多个商品进行支付。 用户的每一次操作，其实可以理解为一个action，比如点击、...原创 2018-07-21 22:58:29 · 975 阅读 · 0 评论 -
将MySQL作为hive的元数据库时遇到的问题
Mysql版本 Ver 14.14 Distrib 5.6.40, for Linux (x86_64) using EditLine wrapperHive版本 apache-hive-2.1.1-bin.tar.gzFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.D...原创 2018-08-09 21:22:13 · 1349 阅读 · 0 评论 -
使用VirtualBox安装Centos
安装环境虚拟机控制台：VirtualBox()镜像：Centos7.6 ()虚拟机控制台下载链接：https://download.virtualbox.org/virtualbox/5.2.26/VirtualBox-5.2.26-128414-Win.exe镜像下载链接：http://mirrors.tuna.tsinghua.edu.cn/centos/7.6.1810/isos/x...原创 2019-03-26 08:52:55 · 484 阅读 · 0 评论