- 博客(20)
- 收藏
- 关注
RSS订阅原创 Hadoop MapReduce各阶段执行过程以及Python代码实现简单的WordCount程序
Reducer任务运行时，它把输入切分成行并把每一行提供给可执行文件进程的标准输入。同时，reducer收集可执行文件进程标准输出的内容，并把每一行内容转化成key/value对，作为reducer的输出。作业，这些特殊的作业是由一些可执行文件或脚本文件充当mapper或者reducer。Mapper任务运行时，它把输入切分成行并把每一行提供给可执行文件进程的。同时，mapper收集可执行文件进程。的工具，它能够帮助用户创建一类特殊的。的内容，并把收到的每一行内容转化成。对，作为mapper的输出。
2023-04-02 00:51:45
878
原创 RAID独立磁盘冗余阵列技术
假设服务器有N块磁盘，RAID 0是数据在从内存缓冲区写入磁盘时，根据磁盘的数量将数据分成N份，这些数据同时并发地写入N块磁盘。因此RAID 0可的整体写入速度和读取速度是一块磁盘的N倍，但是，RAID 0不具有数据备份的功能，一旦N块磁盘中有一块损坏，数据完整性就会被破坏。
2023-03-30 15:17:55
300
原创 Hadoop HDFS 分布式文件系统
主从架构：master/slave，一个namenode，多个datanode，两种角色各司其职、共同协调完成分布式文件存储服务分块存储：每个数据被分为多个block，每一个block都可以在多个DataNode上存储，默认大小为128M，不足128M为一块。块的大小由中的设定副本机制：每个block有多个备份replication，副本数由设定，默认3份元数据记录：metadata记录每一块数据的信息文件自身属性信息：文件名称、权限、修改时间、文件大小、复制因子、数据块大小。
2023-03-25 21:44:02
439
原创 Hadoop MapReduce知识预览，WordCount词频统计案例
如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序串行运行。：对Map的中间结果进行某种进一步的结果整理。运行Hadoop内置案例wordcount，新建一个需要进行词频统计的文件，输入内容。：对一组数据元素进行某种重复式的处理。参数意思是指定运行词频统计的实例，为需要进行词频统计的文件所在路径，一个MapReduce编程模型中。将文件上传至HDFS文件系统中。为结果输出路径，不需要手动创建。适合海量数据离线处理。
2023-03-25 18:59:01
660
原创 linux 使用steam++，steam社区页面报错：Invalid SSL Certificate The SSL certificate for https://steamcommunity.c
Invalid SSL CertificateThe SSL certificate for https://steamcommunity.com/app/1281930/workshop/ is invalid and the page will not be loaded (error:-202 status:4).
2023-03-17 15:59:48
9056
1
原创 pycharm：no such option: --build-dir
Try to run this command from the system terminal. Make sure that you use the correct version of 'pip' installed for your Python interpreter located atno such option: --build-dir
2023-03-15 15:31:19
496
原创 Linux常用命令
这种方式可以保持源目录结构的完整性，在目标目录中创建与源目录相同的目录结构。以下是在Linux中最常用的一些命令及其说明，认识以下命令，会使你操作Linux系统更加的熟练。: 列出当前目录下的文件和子目录。: 修改文件或目录的所有者和组。: 修改文件或目录的访问权限。: 显示最近使用过的命令列表。: 显示当前所在目录的路径。: 显示操作系统的详细信息。: 显示当前登录用户的信息。: 显示系统的实时进程信息。: 显示当前系统的进程列表。: 显示当前用户的用户名。: 显示目录或文件的大小。
2023-03-14 21:52:55
65
转载 xshell连接不上虚拟机的问题解决方案（NAT模式下虚拟机可以ping通主机，但是主机不能ping通虚拟机）
又双叒叕遇到xshell连接不上虚拟机的问题了，折磨了挺久，参照了NAT模式下关于主机ping不通虚拟机的问题这篇文章的解决方案，成功解决问题，在此记录一下。
2020-06-05 12:02:25
1384
原创 连接虚拟机的MySQL8.0版本时提示Unable to authenticate解决方案
连接虚拟机的MySQL 8.0版本时提示Unable to authenticate解决方案今天在虚拟机里安装了MySQL 8.0之后，图形化界面连接总是提示Unable to authenticate之类的，反正就是连不上。已经允许远程登录了，端口号也没问题。查阅之后发现了问题的所在：MySQL 8.0 之前的版本加密规则是mysql_native_password，在MySQL 8.0之...
2020-04-24 09:27:29
1547
1
原创 error: Microsoft Visual C++ 14.0 is required. Get it with “Build Tools for Visual Studi解决方案
解决pip某些模块出现error，需要Microsoft Visual C++ 14.0的问题今天学习绘制词云图的时候恰巧需要一个叫做Wordcloud的模块，使用pip下载的时候出现图中的问题网上搜索了一下，试过升级pip和tools都没法解决，安装Microsoft Visual C++又太大，不想浪费那么多磁盘空间，我们可以通过本地安装的方式来解决下载链接.Ctrl + f 搜索你需...
2020-04-14 12:34:56
13563
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人