大数据
黑桃5200
这个作者很懒,什么都没留下…
展开
-
Java程序操作数据库
Java程序操作数据库Java程序操作数据库,通常就是对数据库中某一个表,进行增删改查,那么就需要通过某些方式连接到数据库,比如连接MySQL,执行各种SQL语句(insert、delete、select、udpate)Java数据库连接技术JDBC(Java Database Connectivity)即Java数据库连接技术。JDBC其实只是代表了JDK提供的一套面向数据库的一套开...原创 2018-07-23 22:22:25 · 481 阅读 · 0 评论 -
离线日志采集流程
数据来源互联网行业:网站、app、系统(交易系统log文件)传统行业:电信,人们的上网、打电话、发短信等等数据数据源(网站、app)都要往我们的后台去发送请求,获取数据,执行业务逻辑;app获取要展现的商品数据;发送请求到后台进行交易和结账,通常由Nginx接收请求,并进行转发 日志文件生成在后台服务器产生日志文件,比如Tomcat、Jetty;但是,其实在面向大量用...原创 2018-07-20 12:33:40 · 2596 阅读 · 0 评论 -
spark web UI端口 4040,18080, 8080页面访问不了
Localhost:4040页面访问不了 是因为history server没开的问题 Spark history Server产生背景 以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息;但该WEBUI随着Application的完成(成功/失败)而关闭,也就是说,Spark Applicatio...转载 2018-03-24 09:15:04 · 24697 阅读 · 2 评论 -
用户访问session分析的基础数据结构及大数据的基本架构
用户访问session分析模块用户访问session介绍:用户在电商网站上,通常会有很多的点击行为: 首先通常都是进入首页; 然后可能点击首页上的一些商品; 点击首页上的一些品类; 随时在搜索框里面搜索关键词; 将一些商品加入购物车; 对购物车中的多个商品下订单; 最后对订单中的多个商品进行支付。 用户的每一次操作,其实可以理解为一个action,比如点击、...原创 2018-07-21 22:58:29 · 975 阅读 · 0 评论 -
使用VirtualBox安装Centos
安装环境虚拟机控制台:VirtualBox()镜像:Centos7.6 ()虚拟机控制台下载链接:https://download.virtualbox.org/virtualbox/5.2.26/VirtualBox-5.2.26-128414-Win.exe镜像下载链接:http://mirrors.tuna.tsinghua.edu.cn/centos/7.6.1810/isos/x...原创 2019-03-26 08:52:55 · 484 阅读 · 0 评论