大数据
getyou123
这个作者很懒,什么都没留下…
展开
-
hadoop学习复习提纲
hadoop基础入门主要有运行模式:本地(只配置了hadoop_HOME),伪分布式(集群中只有自己一台,算是一个完整的环境了吧),完全分布式(多台机器组成一个集群)完全分布式的搭建中的一些重要文件:(基础就是ssh和JAVA_HOME)hadoop-env.sh hadoop-site.xmlcore-size.xmlmapred-site.xmlyarn-site.xmlslaves等。格式化namenode和启动hdfs。hdfs优缺点:廉价机上,不适合实时,小文件等块大小:原创 2020-05-29 19:10:31 · 359 阅读 · 0 评论 -
一种Kafka模块的封装-1
最进学习了kafka 的消息队列机制,参考尚硅谷和网上的教程,对kafka的做简单的使用和封装,现在记录如下:kafka是在企业开发中很常见的消息队列实现(消息队列的模式使得通信的双方从关注通信的过程中解放出来,消息队列中的一些常见的好处包括但是不限于:解耦,缓冲,异步通信,容错等等),kafka一般用于缓存数据,这是一个分布式的消息队列。联系生产者(producer)和消费者(consumer...原创 2019-07-24 08:44:21 · 1169 阅读 · 0 评论 -
计算广告学习笔记1
写在前面:笔记是学习《计算广告》一书的学习笔记,因为最近开始学习广告后台的先关内容,也是刚刚毕业,带我的人广告业务为主,我也是刚刚学习,刚刚进入这个领域,选择的是《计算广告》一书,学习视频在B站有,同时也有网易课堂的教学内容,希望能有所长进。第一章 在线广告综述首先大多数的互联网巨头的收入很大一部分来来自广告。下面是与商业化相关的产品问题:商业模式的探索:流量变现:数据变现:用...原创 2019-08-11 17:14:55 · 309 阅读 · 0 评论 -
计算广告学习笔记2
第二章 计算广告基础计算广告中的比较重要的问题和解决方案:用户决策的转化漏斗:(一个广告的转化过程):曝光(物理上的接收):广告位置天然属性关注:在这里不能打断用户的任务;符合用户需求或者兴趣理解:游戏别总是推给女生之类信息接受(信息接受之后认可):被用户认可保持:购买:在线广告的结算方式(广告主按照何种方式给钱):需求方是广告主(卖广告的),供给方是媒体(帮打广告的)C...原创 2019-08-12 22:40:46 · 293 阅读 · 0 评论 -
记一个使用SparkSession的错误(构造sparksession时候的getOrCreate的错误)
首先是错误输出:19/09/20 14:12:40 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, 192.168.101.1, 56307, None)19/09/20 14:12:40 INFO BlockManagerMasterEndpoint: Registering block man...原创 2019-09-20 19:57:24 · 8071 阅读 · 3 评论