- 博客(10)
- 收藏
- 关注
RSS订阅原创 mapreduce词频统计
（1）分别配置mapred-site.xml、yarn-site.xml和slaves文件，并分发给slave1,slave2,之前配过文件，就不在这详细说明了。开发mapreduce程序（Map,reduce和driver）,统计wordcount.txt文件中的单词的数量。是相对应的，而且最好一样，不然的话，多数情况运行时会报错。为该行所对应的行号，因为我们要计算每个单词的数目，的作用就是拆分，简单来说就是将单词打散，计数。以前得到的是一个数字的集合，中的作用是一样的，设定输入。
2023-06-22 19:30:20
340
1
原创 基于出租车GPS数据的特征提取及可视化项目分析
这个时间段坐车的人比较多。尤其针对出租车GPS数据的数据分析更有价值，因为出租车满足了城市中不同人群的不同需求，同时出租车上的GPS定位终端可以定期采集多种信息，包括GPS进纬度坐标，速度，出租车行驶方向，出租车载客状态等，并且采集频率较高，采集持续时间较长，用户量较大，所以出租车的GPS数据规模更大，可获取的信息更加丰富，更加详细。近年来，随着技术的快速发展和不同的传感技术的广泛应用，大量的数据已成功收集并且记录了城市的各个方面的状态，这给解决都市问题和创建基于大城市大数据分析的智能城市带来了新的机遇。
2023-06-21 18:41:06
1061
原创 Hadoop java Api和IO文件操作
（3）使用Hadoop java API将studentinfo.txt上传到HDFS上，并下载到本地。三、使用Hadoop java API将studentinfo.txt上传到HDFS上，并下载到本地。2、使用hdfs shell 命令将studentinfo.txt上传到HDFS上，并下载到本地。（1）已知studentinfo.txt文件包含10条数据。上传到HDFS上，并下载到本地。配置文件，并解析其内容，封装到。1、上传文件并下载到本地代码。（2）上传到HDFS上。2、上传到HDFS上。
2023-06-21 17:05:39
253
原创 Android程序基本功能的开发(短信的发送）
新建名为example4_5的模块，在清单文件里注册短信权限。步骤四：动态申请权限，编写按钮的单击监听器代码。步骤二：使用系统自带短信程序，完成短信的发送。步骤三：在布局文件里，添加控件。
2023-06-21 16:59:58
233
原创 Android UI设计与Activity组件
任务二：ListView控件及其适配器SimpleAdapter。任务一：Android UI设计及Activity组件设计。步骤三：为spinner准备XML文件。步骤一：新建一个layout。
2023-06-21 16:53:51
79
原创 在hadoop集群DataNode动态服役、下线节点
（2）如果你在一台节点上修改了相关的配置，记得分发到全部集群上去，确保整个集群的配置环境是一致的。（b）在第一步的条件下，将新增的datanode配置到集群，并可以在HDFS UI页面可查。②最好不要把所有的副本放到一个机架上的不同dataNode节点上（数据的安全性不那么高）（a）假设你现有的datanode有两台节点，现准备一台新的datanode。（c）在第二步的基础下，将新增的datanode杀死，并将其退出服役的截图。（3）我们需要hdfs dfs，这个是运行HDFS的文件系统。
2023-06-20 22:30:46
788
原创 Spark SQL 综合应用
prop.put("driver", "com.mysql.jdbc.Driver") //表示驱动程序是com.mysql.jdbc.Driver。/***********手动创建数据，并写入到数据库 ********************************/prop.put("password", "123456") // 数据库密码是空。prop.put("user", "root") // 用户名是root。//下面创建Row对象，每个Row对象都是rowRDD中的一行。
2023-06-20 21:59:39
90
1
原创 Spark环境搭建及入门案例
开发环境与工具：（1）Windows 10 （2）Centos6.7。软件环境：Hadoop2.7分布式集群环境。（3）spark-shell运行。（4）入门案例WordCount。（1）准备Spark安装包。输入scala代码进行调试。（2）编辑profile。Web UI监控页面访问。检查是否配置hdfs读取。上传文件到centos。上传文件到hdfs中。结果写入到hdfs中。
2023-06-20 21:32:17
105
原创 Android Studio项目创建、部署及调试
步骤一：先下载安装包，按照视频里的步骤一步步做，直到看到这个窗口说明把软件安装好了。当全是对勾时，说明Android Studio安装完成了。任务二：使用向导，创建Android Studio项目。任务一：快速搭建Android集成开发环境。任务三：Android 模拟器或真机的使用。步骤二：安装Android SDK。任务五：用Logcat进行调试。任务四：用Toast进行调试。
2023-06-20 21:20:21
472
1
原创 Hadoop基础环境搭建
（4）分发到其他节点并在两个从节点上刷新配置。（6）HDFS UI和 YARN UI界面。（3）修改linux环境变量并刷新配置。（1）上传hadoop新版本并解压缩。配置core-site.xml。配置hadoop-env.sh。配置hdfs-site.xml。配置yarn-site.xml。Centos操作系统环境。
2023-06-20 16:15:50
109
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人