程序媛

今晚听了一波赵强老师的《大数据的起源和核心思想》直播公开课，讲得挺好理解的，以下是课堂上提到的部分内容： 一、什么是大数据？ 例子： 1、商品推荐 （1）大量的订单如何存储 （2）大量的订单如何计算 二、大数据的核心问题 1、数据的存储：分布式的文件系统 2、数据的计算：分布式计算 三、大数据的核心思想（Google的三篇论文） （1）GFS：Google File System（Googl...

刚打算新建hadoop用户，发现居然有了，可是我也不知道密码呀...改也改不了。 想着那总能让我删了吧，嗯哼，不行。如图： 行吧，总有法子治你，比如： 首先，进入home，执行命令vipw 找到之前创建的用户，用dd删除该行（：wq保存退出） 执行命令vipw -s 找到那个用户所属组，dd删掉即可（：wq保存退出） 这时候修改密码检测一下就可以知道有没有删除了 好...

一、安装配置JDK，参考另一篇博客：https://blog.csdn.net/weixin_37590454/article/details/92815133 二、新建hadoop用户 1.su root #以root账号登录并创建接下来的hadoop新用户 2.通过useradd增加用户: useradd -m hadoop -s /bin/bash # 创建新用户Hado...

一、搭建Spark开发环境流程 1.安装eclipse，我这里用的是集成环境，解压就能用。（包含了scala环境） 安装包传送门： 2.导入相关的jar包 Jar包传送门： 具体操作： （1）装上以上的eclipse之后，如图所示，先切换到scala模式。 （2）新建项目的时候，会看到已经可以新建Scala项目了。如图所示新建Scala项目。 （2）如图所示，导入jar包 ...