云计算与大数据
文章平均质量分 85
常见工具的应用管理,实操为主,原理为辅
侬本多情。
数据科学与大数据技术专业在读生,请大家多指教。
展开
-
storm拓扑强化训练
运用storm-starter拓扑详细参考:Storm概念学习系列之storm-starter项目https://blog.csdn.net/weixin_40663800/article/details/97043705?1、登录node1节点机,进入目录[root@node1 ~]# cd /home/local/storm/examples/storm-starter/2、运行storm-starter-topologies程序storm jar storm-starter-topol原创 2021-08-01 22:43:43 · 353 阅读 · 0 评论 -
storm实时流式框架搭建管理(包含过程中常见bug的处理)
Storm搭建Storm是一个分布式的、容错的实时计算系统,可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm用于实时处理,就好比 Hadoop 用于批处理。在Storm 的集群里面有两种节点:控制节点和工作节点。控制节点上面运行一个后台进程Nimbus,它的作用类似于Hadoop 里面的JobTracker。1、先关闭selinux、防火墙,配好网络、yum源2、安装开发工具[root@node1 ~]# yum install java-1.8.0-openjdk*[root@n原创 2021-07-31 15:22:33 · 403 阅读 · 0 评论 -
Hbase分布式数据库管理案例
HBase的安装与配置注意:先做好hadoop集成配置后再来进行HBase是Apache的Hadoop项目的子项目。HBase是一个分布式的、面向列的开源数据库。HBase在Hadoop之上提供了类似于Bigtable的能力。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。1、创建用户分别在四台节点机上创建用户hbase,密码都为123456,uid和gid与hadoop用户的相同,因为Hadoop没设gid,因此是随机分配的,所以先进行查看(如果做过Hadoop用户的集原创 2021-07-30 23:36:35 · 570 阅读 · 0 评论 -
Map Reduce案例项目实现(c编译和eclipse)
实现Map/Reduce的实例Map/Reduce操作代表了一大类的数据处理操作方式,为了让大家对Map/Reduce的工作过程有一个直观的了解,下面的程序采用C语言实现了一个简单经典的Map/Reduce计算,计算从控制台输入的字符串中单词的计数。1、编写代码2、编译代码3、运行程序安装Eclipse开发工具Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。使用Eclipse工具便于我们开发hadoop应用软原创 2021-07-30 14:58:29 · 768 阅读 · 0 评论 -
网络时间协议
Network Time Protocol (NTP) (网络时间协议)1. master(主节点)安装软件包yum install chrony编辑/etc/chrony.confvi /etc/chrony.conf编辑内容:server NTP_SERVER iburst注意:NTP_SERVER 为 NTP 服务器的主机名或 IP 地址(根据需要将 NTP_SERVER 替换为合适的 NTP 服务器,建议不用改)。增加内容:local stratum 10allow 1原创 2021-07-29 21:58:35 · 120 阅读 · 0 评论 -
Hadoop集群搭建管理(四节点集成)
Hadoop的安装与配置配置好网络、yum源及关闭防火墙和做好主机映射,并ssh免密互通1、创建hadoop用户。分别在四台节点机上创建用户hadoop,uid=660,密码都设置为1234562、设置Master节点机ssh无密码登录Slave节点机(详细参考同专栏里的《密码学基础及ssh实现多节点间无密码访问》3、使用WinSCP上传hadoop-2.7.2.tar.gz软件包到node1节点机的root目录下。如果hadoop软件包在node1节点机上编译,则把编译好的包拷贝到r原创 2021-07-29 18:42:53 · 837 阅读 · 0 评论 -
大数据全栈
原创 2021-07-29 01:35:10 · 356 阅读 · 0 评论 -
Hadoop的编译打包
当编译Linux内核及一些软件的源程序时,经常要用这个命令。Make命令其实就 是一个项目管理工具,而Ant所实现功能与此类似。像make,gnumake和nmake这些编译工具都有 一定的缺陷,但是Ant却克服了这些工具的缺陷。Maven是基于项目对象模型(POM),可以通过一小段描述信息来管理项目的构建,报告和文档的软件项目管理工具。Hadoop需要 maven和ant工具进行编译管理1:安装jdk、gcc、gcc-c++ 、make、cmake、openssl-devel、ncurses-devel原创 2021-07-27 16:23:20 · 607 阅读 · 0 评论 -
MPICH编译及MPI分布式设计基础(案例展示)
MPICH是MPI(Message-Passing Interface)的一个应用实现,是用于并行运算的工具。因特网提供开源代码下载,需要相应的编译包编译,需要安装GNU编译器套件(GNU Compiler Collection),gcc包括C、C++、Objective-C、Fortran、Java、Ada和Go语言的前端,也包括了这些语言的库(如libstdc++、libgcj等等)完成开发包的安装、mpich的编译、安装和运行,使用的mpich为mpich-3.1.3(stable release)原创 2021-07-26 08:38:58 · 2270 阅读 · 0 评论 -
NFS多节点共享设置
网络文件系统NFS由于MPICH的安装目录和用户可执行程序在并行计算时需要在所有节点存副本,而且目录要相互对应,每次一个节点一个节点地复制非常麻烦,采用NFS(Netword File Systom,网络文件系统)后可以实现所有节点内容与主节点内容同步更新,并自动实现目录的对应。NFS使得所有机器都能以同样的路径(假设为/home/mpi)访问服务器上保存的文件,访问方法如同对本地文件的访问。这对于部分采用MPI进行并行计算的用户来说可能是必须的,通常我们会将MPICH的安装目录及并行程序存放目录配置为N原创 2021-07-26 06:37:16 · 1782 阅读 · 2 评论 -
密码学基础及ssh实现多节点间无密码访问
一、非对称加密算法非对称加密算法:该算法需要两个密钥:公开密钥和私有密钥。公开密钥与私有密钥是一对,如果用公开密钥对数据进行加密,只有用对应的私有密钥才能解密;如果用私有密钥对数据进行加密,那么只有用对应的公开密钥才能解密。因为加密和解密使用的是两个不同的密钥,所以这种算法叫作非对称加密算法。我对该算法进行简单概括就是如下: 非对称加密有一对密钥,公钥和私钥。可以用公钥加密,也可以用私钥加密。1,公钥和私钥成对出现2,公开的密钥叫公钥,只有自己知道的叫私钥3,用公钥加密的数据只有对应的私钥可以原创 2021-07-25 18:32:00 · 478 阅读 · 1 评论