学无止境,勤则可达；志存高远,恒亦能成！

一、实验要求根据课本上的Hadoop的章节的内容，熟悉从系统下载、安装、命令使用，到MapReduce的简单编程实验。二、实验内容2.1 部署方式Hadoop主要有两种安装方式，即传统解压包方式和Linux标准方式。安装Hadoop的同时，还要明确工作环境的构建模式。Hadoop部署环境分为单机模式、伪分布模式和分布式模式三种。2.2 部署步骤(简述)步骤1：制定部署规划；步骤2：部署前工作；步骤3：部署Hadoop；步骤4：测试Hadoop。2.3 准备环境由于分布式计算需要用到很多

摘要随着近年来深度学习的兴起，卷积神经网络（convolutional neural networks,CNN）得到了广泛的应用。利用CNN对猫狗图像识别，虽然在特征提取以及识别速度方面具有优化性[3]，但存在识别率低且计算量复杂、内存消耗大的问题。具体表现为CNN识别猫狗图像对于同一目标发生轻微朝向或位置变化时，识别效果变差，且容易在训练过程中丢失有价值信息，忽略了局部与整体之间的关联性；此外，图像的计算量大也会使得内存资源占有量变大，导致程序整体运行缓慢，影响速率。因为自己具备一定的Python和.

大数据Hadoop环境搭建一、基本配置准备一台内存最少8G（建议16G）、cpu i7 4核的电脑二、即将完成的任务安装虚拟化软件VMware准备3台linux虚拟机搭建3节点的hadoop集群按《虚拟化与云计算（第3版）》课本描述，实际上可以只搭一主一从两台虚拟机即可笔者是因为大数据学习需求，会相对详尽三、实验背景笔者自己大数据学习需要搭建虚拟化与云计算这门课程也有实验要求四、知识要点文档说明：在学习大数据课程的全程中，要求大家统一保持跟老师一样的

6.1 Hadoop 2.0大家族概述6.1.1 分布式组件1.组件简介2.组件分类6.1.2 部署概述1.Apache社区版分布式组件部署步骤：2.商业版（Cloudera或Hortonworks）部署步骤：3.部署规划集群共五台机器，cMaster为主节点，cProxy为主节点代理，其他为Slave节点，注意iClient并不属于集群，用户还须确保集群中所有机器和iClient都可以连网。4商用版Hadoop部署6.2 ZooKeeper6...

文章目录5.1 引例5.1.1 问题概述5.1.2 常规解决方案5.1.3 分布式下的解决方案1.分布式存储冗余存储与冗余计算5.1.4 小结img5.2 Hadoop 2.0简述5.2.1 Hadoop 2.0由来5.2.2 Hadoop 2.0相关项目5.2.3 Hadoop应用img5.3 Hadoop 2.0部署5.3.1 部署综述1.部署步骤2.准备环境3.关于Hadoop依赖软件img5.3.2 传统解压包部署imgimgimgimg部署总结：5.4 Hadoop 2.0体系架

分布式计算模型MapReduce一、学习准备安装VMware15虚拟化软件安装CentOS 7虚拟机3个安装3节点的apache hadoop-3.1.4集群windows或mac安装IDEAwindows做好hadoop环境配置二、学习主题MapReduce核心思想MapReduce编程三、学习目标理解MapReduce核心思想理解MapReduce编程8步理解各步骤的MapReduce编程掌握mapTask及reduceTask的工作机制四、知识要点1. ma

A 学习内容详细教程：Hadoop之HDFS：Hadoop分布式文件系统–具体知识点A1：概况前面稍微简单点，主要是环境扫盲，讲了开发环境，以及运行安装环境。A2：学习目标理解分布式文件系统理解hdfs架构熟练hdfs基本命令使用掌握hdfs编程理解namenode及secondarynamenode交互A3：具体知识点B 学习笔记完整系统笔记：????HDFS：Hadoop分布式文件系统.md1. hadoop的发展历史nutch：全网爬虫项目主要是想要抓取全网的网

Windows&Mac下开发环境配置四、知识要点jdk、windows本地hadoop安装目录要求：不包含中文、不包含空格5. hdfs的java API开发环境准备1. 修改hosts文件1. windows本修改hosts文件所在位置C:\Windows\System32\drivers\etc\hosts将虚拟机中/etc/hosts文件以下内容，添加到windows的hosts文件末尾(根据自己的实际情况，修改ip地址)192.168.51.100 node01.kai

zookeeper安装部署一、安装准备准备一台内存最少8G（建议16G）、cpu i7 4核的电脑目标是：搭建3节点zookeeper集群二、知识要点1. zookeeper集群的安装注意事项：三台机器一定要保证时钟同步1.1 下载zookeeper的压缩包下载网址笔者使用的zk版本为apache-zookeeper-3.6.2下载完成之后，上传到node01的/kkb/soft路径下准备进行安装1.2 解压node01执行以下命令解压zookeep

在使用vim修改完一些配置文件时，当你退出时经常会出现’readonly’ option is set (add ! to override)的问题情况分析通常有三种情况：1、 该错误为当前用户没有权限对文件作修改，这种情况可以强制退出:q!,先取得root权限后进行修改（root的权限取得命令是:su root然后输入你的登录密码即可）2、该文件没有正确保存退出，正在打开状态，请别人关闭后再保存3 、若该文件所有人都关闭了，提示有的人没有关闭，则删除该文件的临时文件则可以正常打开、修改、保存；

文章目录前言VMware的虚拟设备介绍VMware三种网络模式联网一、NAT（重点演示介绍）1：设置虚拟机的网段2：查看==NAT模式==的网关，子网IP以及子网掩码3：设置window当中的VMNet8网络地址4：设置linux当中的网络5.验证方法二、bridge桥接三、HostOnly总结前言我们可以在一个正常使用的操作系统中通过虚拟机软件制作一个虚拟机，就是在本地硬盘中划出一个部分创建一个虚拟的电脑，可以进行安装系统，在虚拟机中我们可以通过安装好的系统来测试软件，就算中毒也不会影响到原来的系统。

问题背景：笔者正在hadoop里面安装openssl，但出现了一些问题，包括未联网、yum被锁定、已安装问题一：虚拟机未联网虚拟机联网需要进行一系列操作，这里不展开，解决方法见：问题二：yum被锁定在Linux中使用yum命令进行安装时出现如下提示：另外一个程序锁定了 yum；等待它退出……出现原因：　　yum命令一次只能安装一个软件，所以当下载安装第二个软件包时，系统进程锁会锁定yum，这时，即使关闭进程甚至关闭虚拟机重启后，再执行yum命令还是会出现同样情况。解决方法：需要在ro

报错：openssl: false Cannot load libcrypto.so(libcrypto.so: 无法打开共享对象文件: 没有那个文件或目录)!方法一：如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了sudo yum -y install openssl-devel但你可能会出现这种情况，这里解决方法见：另外一个程序锁定了 yum；等待它退出……方法二：ctrl+z直接结束方法一未解决的问题1、

HDFS：Hadoop分布式文件系统自学整理，学习笔记链接：https://www.yuque.com/shiwozack/vlklkx/sqhczr一、课前准备安装VMware15虚拟化软件安装CentOS 7虚拟机3个安装3节点的apache hadoop-3.1.4集群windows或mac安装IDEAwindows做好hadoop环境配置二、课堂主题hadoop发展历史hadoop版本介绍及选择hadoop模块简介hdfs功能详解三、课堂目标理解分布式文件系统