hadoop
Rosendal
这个作者很懒,什么都没留下…
展开
-
在google cloud建立hadoop,JAVA安装,伪分布模式
参考链接一开始看的这个https://blog.csdn.net/kh896424665/article/details/78765175结果发现第一个教程有的设置defaul.sh的脚本有点问题,然后参考了下面印度风味的教程https://docs.google.com/document/d/1CJ2hxxz8KHHd38FmXePNq3TqVtMqYKrOjL2a3356N1Y/edi...原创 2019-09-07 23:46:36 · 270 阅读 · 0 评论 -
零基础转行大数据之:面经
按照前两天一个朋友的建议,把我参加面试的面经写下来,分享给大家【头条】接到头条猎头电话,后端岗,但有机会做大量数据处理一面已过第一个人:mysql关系数据库:角色分配,系统设计,特殊角色的人如何给出特殊的权限算法:N个数,找第K大数,经典题,leetcode原题给一个数组,求如何划分数组,使得abs(sum【A】 - sum【B】)最小,leetcode原题第二个人:HASHMA...原创 2019-09-20 20:23:55 · 296 阅读 · 1 评论 -
【待写】大数据平台之:如何成为一个Apache开发者
如何成为一名Apache开发者?或者是开源项目代码贡献者?我们知道,HR常常说,你TMD没项目,你有个开源代码贡献也行啊!所以我们就要讲讲,如何成为一名Apache开发者??入门,如何注册,贡献方法,如何贡献,从哪里开始搞起过程、日常时间分配,每天贡献量,工作量,代码阅读量的要求要求最后达到的结果更好的结果成为一名全职开源贡献者。。。就像鱿鱼西那样的。。...原创 2019-09-19 17:52:38 · 445 阅读 · 1 评论 -
【待写】CentOS 7大数据平台之:项目寻找
我们知道面试官很喜欢问那种7788的项目,然后你TMD的又没有这个项目,这可咋整?要求接下来我们找几个项目来搞一搞,自娱自乐一下,基本要求最好是完成从端到端的设计开发(数据采集,存储,处理、分析,输出)的过程并且要用START法描述清楚这个项目项目1项目2...原创 2019-09-19 17:49:31 · 117 阅读 · 0 评论 -
【待写】CentOS 7大数据平台之:面试题分析
我打印,整理并筛选了晚上我能搜到的并且有价值的【中文】面试题,然后找一下答案,没有答案的我尽量用自己的语言来描述,欢迎拍砖。后面考虑加入英文面试题,还有实际的大数据项目题...原创 2019-09-19 17:44:01 · 496 阅读 · 0 评论 -
CentOS 7大数据平台之:ambari部署
为什么放弃UBUNTU转到centos如前人经验所说,ubuntu的系统确实不太稳定,在我的开发过程中,手上的三个ubuntu虚拟机运行过程中有时候常会弹出错误弹窗,但是要汇报错误之类的,并且有时候start-all.sh之后并不是所有的node都能起来,常常出现要运行两次namenode才起来,或者是namenode运行一半就自动消失了的情况,看log的话网上的解决思路和我的问题背景不太一样...原创 2019-09-19 17:41:41 · 200 阅读 · 0 评论 -
【待写】ubuntu 16.04 大数据开发之:第一个MR实战开发&SPARK程序开发&STORM程序开发
留着晚上写原创 2019-09-18 12:37:07 · 200 阅读 · 4 评论 -
基础如何转行大数据之:裸辞,心路历程
先做个我个人的背景介绍吧985毕业,德国交换生,英语德语流利,然而对技术没有什么卵用,放弃在德国柏林工业大学读研的机会,回来华为上班。我本来在华为做程序员,原来做的是嵌入式系统开发,主要给5G基站做电源管理系统,后来做操作系统移植,经常接触C语言,汇编,有时候需要写python脚本,干活头半年非常卖力,学习了很多东西,加薪、加奖金也有不少,但是到了后面渐渐发现这个行业可以深挖的东西不多,再继续...原创 2019-09-18 12:09:48 · 579 阅读 · 0 评论 -
ubuntu 16.04 大数据开发之:第一个MR程序的编写
MR程序是基于hadoop开发的mapreduce程序,主要的操作对象是HDFS,话不多说,我们先来个小实例:实例1原创 2019-09-18 11:34:30 · 215 阅读 · 0 评论 -
ubuntu 16.04 搭建完全分布式之:spark搭建
预留一下,晚上写原创 2019-09-16 16:26:01 · 346 阅读 · 0 评论 -
ubuntu 16.04 搭建完全分布式之:kafka搭建
预留一下,晚上写原创 2019-09-16 16:25:26 · 361 阅读 · 0 评论 -
ubuntu 16.04 搭建完全分布式之:HIVE搭建
对于hadoop集群来说,任何一个服务器按我理解都是可以弄hive的,反正hive就是个关系数据库,应该都是可以的反正我在namenode机器上面弄的哎……昨天写了好多,然后我以为相同的提交页面也是可以用的,结果我就把HIVE的那个页面提交了一下FLUME。。结果就TMD覆盖啊,我悔恨啊!我就大概记录一下HIVE的搭建过程,然后记录一下坑有哪些吧hadoop 2.7.7介绍HIVE和H...原创 2019-09-16 16:19:05 · 624 阅读 · 0 评论 -
RPC文章摘录
如何给老婆解释什么是RPChttps://www.jianshu.com/p/2accc2840a1b简单的Hadoop RPC实例https://blog.csdn.net/beidiqiuren/article/details/51658562Hadoop之RPC简单使用(远程过程调用协议)https://www.cnblogs.com/qq503665965/p/6708644.h...原创 2019-09-16 10:38:43 · 81 阅读 · 0 评论 -
ubuntu 16.04 hadoop完全分布式之HBASE搭建
HBASE是基于HDFS的一个大型nosql数据库,相当于谷歌的big table,和HIVE相比,他主要用于实时数据提取场景,获取数据应该很快搭建我的HBASE 是 1.3.5hadoop 2.7.7拷贝hdfs-site.xml core-site.xml zoo.conf到hbase/conf里面vi /etc/profile 添加HBASE的bin修改hbase-env.sh...原创 2019-09-16 01:02:23 · 488 阅读 · 0 评论 -
ubuntu 16.04 搭建hadoop HA完全分布式系统
根据参考文件,本文的布置环境如下:VMWARE 14双核单CPU4G内存(建议一定要4G)三个虚拟机hadoop vesion 2.7.7布置方案:先设置zookeeper,然后对两个namenode进行format然后zookeeperformat然后run 起来配置文件core-site.xml<?xml version="1.0" encoding="UTF-8...原创 2019-09-16 00:54:56 · 301 阅读 · 0 评论 -
ubuntu 16.04 搭建完全分布式之:flume搭建,LOG4J配合使用,MAVEN工程初探
对于hadoop集群来说,任何一个服务器按我理解都是可以弄hive的,反正hive就是个关系数据库,应该都是可以的反正我在namenode机器上面弄的布置mysqlsudo apt install mysql-server不要安装ubuntu自带的connector,那个东西弄了个链接到hive/lib里面结果用不了我的mysql版本是5.7然后sudo mysql_secure_...原创 2019-09-16 00:44:40 · 199 阅读 · 0 评论 -
【待写】JAVA熟悉日记:刷题,看项目,做项目级coding
发现自己对JAVA语言严重不熟,先从刷题开始,目标做50题,网站leetcode原创 2019-09-24 12:25:37 · 170 阅读 · 0 评论