今天是生产实习的第二天,我了解了Hadoop序列化和反序列化,序列化是将对象的状态信息转化为可以存储或传输的形式的过程,而反序列化则是将已经序列化的对象重新装配成对象的过程。
第一个项目:手机流量统计项目。
这个项目需求是:统计每个手机号上行流量和,下行流量和,总流量和,并且将统计结果按照手机号的前缀进行区分,并输出到不同的输出文件去。
开发思路:
0根据手机号进行分组,然后把该手机号的上下行流量加起来,然后进行定义Map类,Reduce类等进行开发。
在此之前,先进行对码云(Gittee)的注册登录。以用来提交代码。
需要安装git和tortoisegit,注意git和tortoisegit的安装路径要一致。然后登录页面Gittee进行邮箱绑定。在码云中创建远程仓库,克隆远程仓库到本地,克隆完毕后,上传代码到码云。将代码添加到本地仓库,提交到本地仓库中,推送代码到远程仓库。
在安装配置这个过程中,遇到了一个问题
在输入tortoisegit的name和email,准备提交进入下一页是,出现错误:
libgit2 returned1:failed to create locked file’C:/User/xxx/.gitconfig.lock’:拒绝访问。
解决方案:
对c盘的文件设置管理员权限