秋月丹青-CSDN博客

原创 java springBoot 中调用 Matlab软件进行二维矩阵计算 matlabcontrol

最近，公司的一个项目要结合matlab 做一些算法预测。传递的参数大部分是矩阵结构，在java中可以用二维数组表示。首先百度搜索资料，尝试过matlab 的.m文件打包成jar的形式，这个是可行的，只不过jar的形式受限比较大，jdk运行版本要求严格，而且后期的.m文件的修改，要重新打包，增加运维成本。最终参照这篇博客的经验，，https://blog.csdn.net/qq_277316...

2019-08-14 10:13:45 3149 1

原创 Failed to start namenode. java.net.SocketException: Unresolved address

看我的截图可以知道我配错了备节点的地址。进入 hdfs-site.xml ，修改为 nns:50070 <property><name>dfs.namenode.http-address.cluster1.nns</name><value>nns:50070</value></property>...

2018-12-05 09:36:52 4462 1

原创实战：对HBase业务表进行增删改查操作（Eclipse,Linux 环境）

尝试使用HBASE shell 和HBase java API 两种方式来演示对业务表的操作。一、Hbase Shell1、启动控制台，启用hbaseshell 控制台对Hbase 进行操作具体命令如下：[hadoop@nna hbase]$ bin/hbase shell2、创建业务临时表： zh_tablehbase(main):005:0&amp;amp;amp;amp;gt; create 'zh_table...

2018-11-28 13:59:51 747

原创 HBase安装到HA集群

一、下载软件：hbase-1.2.6-bin.tar.gzhttp://archive.apache.org/dist/hbase/1.2.6/解压：hbase-1.2.6-bin.tar.gz[hadoop@nna ~]$ tar -zxvf hbase-1.2.6-bin.tar.gz重命名为hbse 文件夹[hadoop@nna ~]$ mv hbase-1.2.6 hbase...

2018-11-25 20:00:22 225

原创 sqoop在关系型数据库与分布式文件系统之间传输数据

sqoop用于 hadoop 与关系型数据库之间的数据传递，可以将数据库中的数据导入到hdfs等文件系统，也可以将hdfs 上的数据导入到数据库中。准备sqoop 软件包 sqoop-1.4.7.bin__hadoop-2.6.0http://archive.apache.org/dist/sqoop/1.4.7/一、将sqoop 软件复制到根目录下二、解压软件tar -zxvf ...

2018-11-23 15:27:12 841

原创 eclipse 使用maven构建简单的项目工程操作hadoop HDFSS

通过构建一个简单的项目工程，围绕对实现分布式文件系统HDFS 的操作展开学习。参考资料：华为大数据模块2 HDFS的应用开发。jdk 版本：1.8一、使用maven 创建一个简单的 maven project，至于maven 项目怎么搭建，网上有很多资料，自行查看。我这里贴上我使用的pom.xml 配置。&amp;lt;repositories&amp;gt;&amp;lt;repository&amp;gt;

2018-11-22 19:51:38 2255

原创 hadoop + zookeeper HA架构搭建

确保4台linux系统节点已准备|主机名| 内存|cpu|nna|2G|2核|nns|2G|2核|dn1|1G|1核|dn2|1G|1核1、给系统设置静态IP,可以参照我之前的hadoop 集群部署中静态ip设置https://mp.csdn.net/mdeditor/84073712#2、所有linux系统配置hosts系统文件。添加ip映射,vi /etc/hosts3...

2018-11-22 17:23:28 327

原创 MRunit 测试MapReduce 程序

使用MRunit 测试 MapReduce ,就比如我们写java 程序是的junit单元测试，其实，mrunit 和标准的junit框架一起使用，可以将mapreduce作业的测试作为正常开发环境的一部分运行。准备测试的包：mrunit-1.1.0-hadoop2.jar ，下载地址;https://repository.apache.org/content/repositories/rele...

2018-11-18 23:01:19 282

原创 win7 系统eclipse环境下测试运行hadoop 的 wordcount mapreduce。

上篇介绍了在linux下测试运行 hadoop 的wordcount 例子后，就想着怎么在eclipse 下编写mapreduce函数，链接hadoop集群计算呢。linux下测试运行 hadoop 的wordcount 参考：https://mp.csdn.net/mdeditor/84143774#linux 部署hadoop 集群参考：https://mp.csdn.net/mdedi...

2018-11-18 22:31:13 224

原创 Linux 环境下运行hadoop 的wordcount 程序

我相信每个人部署完hadoop 环境之后，都想运行一下程序，就比如学习java的时候，配置好环境变量，就想运行一下程序输出一个hellop word。wordcount程序，统计文本中的字符出现次数。本次，主要目的是在liunx运行一下wordcount,看看输出的效果。下一篇会介绍在win系统下链接linux hadoop 集群，运行wordcount,并理解hadoop 的mapreduce...

2018-11-16 18:09:24 2419

原创 Centos7 linux 系统部署hadoop 集群

背景：最近新的工作要接触大数据，所以需要先接触一下hadoop，一步步学习下去，暂时没有固定的学习路线，还是看公司工作需要。我觉得学习一个东西，先是学会用，再深入了解其原理。好吧，第一步，目标是在linux,上部署hadoop集群，目的：部署的集群机构如下：massterslave1slave2**第一步：**虚拟机安装linux系统，我使用的是centos6。常规部署，网上很多教程，...

2018-11-16 16:45:09 482

原创 JDK动态代理

jdk动态代理必须借助一个接口才能产生代理对象，所以先定义接口public interface ProxyExInterface { public void sayHelly(); public void sayHelly2();}然后提供接口实现类public class ProxyImpl implements ProxyExInterface { @Override public void ...

2018-05-22 14:40:07 129

原创插入排序算法之折半插入排序算法

之前有学过二分查找，其实折半插入跟二分查找都是同一个原理。在百度百科开了折半排序算法的原理后，自己试着根据原理写出了版本一的算法，版本二是参照巨人的实现思想，版本二才是重点。版本一可以忽略不看。算法同样的目的是寻找正确的插入点。版本一：实现思想：第一步：获取折半后的下标第二步：判断插入值是否小于折半处的值，如果小于，而且小于折半处前一个值，则往左再次折半（为什么要小于折半处减一的值，举个列子，...

2018-04-19 11:34:24 1280 1

原创直接插入算法

直接插入算法：步骤：一：设置监听岗二：交换监听岗三：将数据插入监听岗 //直接插入排序 public static void zjcrpx(){ int[] a={1,2,3,4,5,6,733,10}; //遍历数组，因为第一个a[0]肯定是有序的，所以用a[1]开始排序 for(int i=1;i<a.length;i++){ //建立

2018-04-18 17:04:13 189