- 博客(25)
- 收藏
- 关注
RSS订阅
原创 大数据中HBase的安装
先决条件hadoop集群正常启动zookeeper集群正常启动，作为hbase集群的协调器1.解压并安装tar -zxvf HBase hbase-0.98.9-hadoop2-bin.tar.gz2.配置Hbase2.1修改环境变量 hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_71 2.2修改配置文件hbas...
2018-10-24 22:31:38
158
原创 大数据中Zookeeper的安装
在本集群中有master，slave，slave1三个节点其中master为主服务器，slave和slave1为从服务器要求各服务器之间系统时间要保持一致1.先决条件hadoop集群运行环境配置好，比如jdk，时间同步，免密登陆等hadoop集群正常启动安装ZookeeperZookeeper是Hbase集群的“协调器”，负责解决Hmaster的单点问题，确保事先安装好...
2018-10-24 22:21:46
243
原创 大数据中Storm的安装
我的集群有三个节点，主节点master，从节点 slave和slave11.安装的条件Hadoop集群正常启动ZooKeeper集群正常启动2.解压安装unzip apache-storm-0.9.6.zip3.配置1）环境变量配置vim ~/.bash_profile在.bash_profile配置文件中添加如下配置export STORM_HOME=/h...
2018-10-24 22:12:10
312
原创 feign调用异常，反序列化失败
Cannot deserialize instance of `xxx` out of START_OBJECT token
2022-01-04 22:45:16
4124
原创 mysql 安装问题：mysqld: Can‘t create directory ‘E:\Software\mysql-5.7.24-winx64\data\‘ (Errcode: 2 - No
看到很多人说：my.ini文件中的basedir（设置mysql的安装目录）、datadir（设置mysql数据库的数据的存放目录）与MySQL解压后的路径不一致但是我检查了几遍都没问题，执行命令mysqld --initialize --console 一直报这个错我的解决办法：把basedir和datadir中的 \ 改成 \\就可以正常执行了，奇了怪了，我的系统是win10 20H2将basedir=E:\my\mysql-5.7.24-winx64 改为 basedir=D:...
2021-03-11 10:34:11
3030
8
转载 eclipse使用mybatis插件实现Java与xml文件相互跳转
插件名称：mybatipse方法参照：https://jingyan.baidu.com/article/8ebacdf0f06c8c09f65cd5a0.html
2020-07-22 15:11:51
439
转载 多线程之线程的创建
https://blog.csdn.net/qq_40242512/article/details/106853232?utm_medium=distribute.pc_feed.337283.nonecase&depth_1-utm_source=distribute.pc_feed.337283.nonecase
2020-06-19 13:29:59
96
转载 VMware Workstation pro 无法在Windows上运行
今天需要用到虚拟机，结果打开一直不能启动VM ware以为软件出问题了，各种折腾，后来想到更新过几次系统版本百度找了几种方法，觉得卸载更新不是很好，以后系统有更新我还是会更新的，这样又不能用了，不方便，几经波折，找到了这篇博客，用第三种方法完美解决，在这里记录一下。原文链接：https://blog.csdn.net/Blithe_CSDN/article/details/10263939...
2020-01-07 12:37:12
155
转载 Oracle 数据库常用操作语句大全
一、Oracle数据库操作1、创建数据库 create databasedatabasename2、删除数据库 drop databasedbname3、备份数据库完全备份 expdemo/demo@orclbuffer=1024file=d：\back.dmpfull=y demo：用户名、密码 buffer:...
2019-10-18 14:33:06
156
转载 linux 路由表设置 之 route 指令详解
转载于：http://blog.csdn.net/chenlycly/article/details/52141854使用下面的 route 命令可以查看Linux内核路由表。[cpp]view plaincopy#route DestinationGatewayGenmaskFlagsMetricRefUseIface...
2019-10-18 13:54:59
319
原创 linux端口转发
前面写到python连接hive，由于本机不能直接连到hive所在机器的10000端口，所以采取了现在的办法端口转发当一台主机A(16.11.11.11)访问另一台主机B(16.83.83.83)的端口10000时候，一直连不通怎么办？SSH 端口转发可以解决，当然还有其他的方式，只不过觉得这种方式简单开启主机A端口10001/sbin/iptables -I INPUT -p tcp...
2019-07-18 23:03:45
175
原创 python连接mysql
python版本2.7.5 ，centos7.3python连接mysql数据库，这个也是各种找包，以为必须不能联网，必须把包下载好在这里https://pypi.org/下载python的扩展包如果有网直接 pip install MySQL-python安装需要的包如下先安装rpm包，强制安装，忽略依赖rpm -ivh rpm包名 --force...
2019-07-18 22:49:23
101
原创 python连接oracle
这个也是第一次安装，每次安装这些包感觉都挺折腾，各种找依赖包，记录一下，还有遇到的问题首先对应的python脚本的python2.7.5,系统版本是Centos7.3，oracle11.2.0.4需要下载的包有rpm包和whl包这里可以下载https://www.oracle.com/technetwork/topics/linuxx86-64soft-0922...
2019-07-18 22:45:24
174
原创 python连接hive
首先确认已经安装gcc以及确认系统的版本例如测试环境是Centos6.51.通过下面这个网站下载需要的python扩展模块https://pypi.org/project/PyHive/2.通过这个网站下载需要的rpm包http://www.rpmfind.net/linux/rpm2html/search.php3.安装依赖的rpm包忽略依赖强制安装r...
2019-07-18 22:41:03
410
原创 java中常见的排序算法
/** * 冒泡排序 */ public static void bubble(int[] arr) { for(int i=1;i<arr.length;i++) { for(int j=0;j<arr.length-i;j++) { if(arr[j]>arr[j+1]) {...
2019-01-06 21:28:19
93
原创 Azkaban之hive的job
1、前提是安装好azkaban2、从官网上下载azkaban-jobtype-2.5.0.tar.gz这个压缩包 下载地址为：https://s3.amazonaws.com/azkaban2/azkaban-plugins/2.5.0/azkaban-jobtype-2.5.0.tar.gz3、把下载好的压缩包 移动到你的executor服务的安装目录下的 plugins下例如：azka...
2018-10-29 20:32:57
2322
原创 Azkaban的安装部署
Azkaban的安装部署1. 准备工作1) Azkaban Web 服务器 azkaban-web-2.5.0.zip2) Azkaban 执行服务器 azkaban-executor-2.5.0.zip3) MySQL 脚本 azkaban-sql-script-2.5.0.tar.gz2.安装MySQL1) 安装 mysql这个可以在我的博客中hive的安装那儿找到...
2018-10-29 20:05:30
177
原创 大数据中hive的安装
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以...
2018-10-29 19:48:15
454
原创 Azkaban的简介
Azkaban是数据流引擎，解决作业之间的依赖关系，挺不错的有三大组件①Relational Database(Mysql) 用于存储项目、日志或者执行计划之类的信息②AzkabanWebServer 使用Jetty对外提供web服务，使用户可以通过web页面方便管理③AzkabanExecutorServer 负责具体的工作流...
2018-10-25 20:23:18
203
原创 HBase常用shell命令
HBase Shell的所有命令可分为6大组常规命令DDL命令DML命令工具命令（Tools）复制（Replication）安全（Security） HBase Shell 命令 – 常规命令集群状态命令status2 servers, 0 dead, 2.5000 average load该集群共有两台RegionServer，平均每台上有2.5个re...
2018-10-25 20:14:09
477
原创 使用Net连接模式改成静态ip配置上网
刚开始学习大数据的时候，要搭建集群，没那么多台机器则怎么办，一般我们使用VMWare云平台虚拟出很多机器，一般学习测试三四个节点就够了，通常是先配置好一台机器，然后需要几台就克隆几台主要也需要看你机器的配置，不然太多了会很卡。如果我们每台虚拟出来的机器都是采用默认自动获取ip，这样也可以上网，ip地址一般不会随意跳动，但是总有意外，使用环境，操作方式，系统内部运行等情况难免ip会突...
2018-10-25 20:06:27
1122
转载 ora-01033:oracle initialization or shutdown in progress 解决方法
我删除表空间时候，sql执行报错，最后找到oracle对应目录下app\walking\oradata\orcl 表空间文件我就强制删除了，然后就报了ora-01033:oracle initialization or shutdown in progress这个错误，所有用户无法连接到数据库，这是转载的该问题网上解决方法的链接 http://blog.csdn.net/tanzugan/arti...
2018-03-05 15:06:44
297
转载 Cron表达式详解
看到写的不错就转载过来了，源地址：http://www.cnblogs.com/junrong624/p/4239517.html，虽然也有一点点问题，大家注意一下，Day-of-Week(每周)：可以用数字1-7表示（1 ＝ 星期日）或用字符口串“SUN, MON, TUE, WED, THU, FRI and SAT”表示，看的时候注意一下就好Cron表达式是一个字符串，字符串以5
2017-07-14 16:03:44
276
原创 VMware 虚拟机 linux执行 ifconfig 命令 eth0没有IP地址(intet addr、Bcast、Mask)问题
以前一直通过ifconfig命令查看ip地址，但是今天用XShell连接自己的虚拟机却连接不上了，开始以为系统的ip地址变了，就输入命令查看，一看结果就没找到ip地址，如图一下蒙了，什么情况，第一次遇到就百度，结果都不是自己想要的，后来遇到一个博客给了我思路，可能有的服务没启动，我就顺着查看一下，还真是这样如图，然后我就启动该服务，重启Linux系统就好了希望能
2017-07-14 15:37:49
7258
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人