- 博客(34)
- 收藏
- 关注
RSS订阅
原创 azkaban3.57多executor节点安装图文教程
关于azkaban的源码编译请看另一篇博文《azkaban3.57及3.0插件的编译》一、azkaban3.57多节点框架安装1、创建相关mysql数据库（如 azkaban357），为改数据库创建相应用户并赋予权限（如azkaban）。解压 azkaban-db-3.57.0.tar.gz 到相应目录# tar –zxvf azkaban-db-3.57.0.tar.gz...
2019-05-18 10:49:31
1046
1
原创 阿里云AnalyticDB Mysql集成Spark调度
声明一点：没有收广告费，没有打广告的意思。好处是不用自建和维护，适合小团队云开发使用，当然大团队建议还是自建最好。。。一、首先开通adb，首次开通可以1块钱使用一个月二、接着开通云原生数据湖分析（DLA，按需收费），里面集成spark开发调度任务编排及调度（需登录adb的DMS管理界面）；在这里编排调度任务执行完成后，在作业管理页面看任务状态及日志上面是测试样例（自建项目可以打包上传，接着开通oss，用于上传项目的jar包）...
2021-05-01 12:53:38
437
2
原创 centos7 静默安装 oracle11g 11.2.0.4
centos7无界面安装oracle11g centos7静默安装oracle11g 11.2.0.4
2020-11-23 10:17:31
1271
1
原创 centos7 python2升级python3
本人升级过3.5版本和3.7版本，3.7后直接升级就能用，pip也不需要重新设置，建议直接升3.7以上下载：# wget https://www.python.org/ftp/python/3.7.3/Python-3.7.3.tar.xz可能会需要一些库文件，这里全都安装了# yum install gcc-c++ gcc make cmake zlib-devel bzip2-...
2019-10-12 08:15:10
187
原创 Tushare金融数据使用实践
Tushare金融数据实践 目前来看，除了爬虫玩的很好，又有精力自己去爬取数据并清洗的，要用到免费的数据源，有两个比较不错的推荐，tushare和baostock。这里介绍一下tushare的使用。 Tushare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工到数据存储的过程，并对外提供多种开放接口供使用。目前升级成金融大数据社区，即...
2019-10-11 20:31:35
590
原创 azkaban3.57web及executor插件安装
azkaban插件：web端（hdfs，jobsummary，trigger）executor端（Jobtype）azkaban的编译及安装请参考另外两篇博文《azkaban3.57及3.0插件的编译》，《azkaban3.57多executor节点安装图文教程》一、安装hdfs插件（在web端）1、配置好cdh环境变量：export HADOOP_HOME=/...
2019-05-18 14:43:00
602
原创 azkaban3.57及3.0插件的编译
相关环境：centos7，python，git版本：azkaban3.57.0 azkaban-plugins 3.0.0（该分支比较完整）vi /usr/libexec/urlgrabber-ext-down （如果没有安装git且已升级了Python3，此处需要改成python2）yum install -y git （如未安装git）创建目录azkabanPr...
2019-05-18 10:41:27
1023
原创 阿里云centos7搭建es 6.x 集群配置
相关安装包一、创建相应目录：# mkdir –p /usr/es/data# mkdir –p /usr/es/logs解压到es目录下：# tar –zxvf elasticsearch-6.1.2.tar.gz –C /usr/es二、修改配置/usr/es/elasticsearch-6.1.2/config/ 下的 elasticsearch.yml...
2019-05-18 10:33:01
1270
原创 hadoop hbase分布式安装配置
本案例是在centos6.5上安装好hadoop2.6.4集群环境基础上进行的Hbase1.2.6分布式安装，hadoop分布式安装请参考《Apache Hadoop 分布式集群环境安装配置详细步骤》 解压安装：在Master机器上进行操作：进入文件所在目录： # cd /home/hadoop/下载# tar -zxf hbase-1.2.6-bin...
2018-08-21 09:57:42
1337
原创 Hive分区表新增字段数据显示为NULL
hive的分区表在新增字段后，新增字段的数据显示NULL。hive分区表新增字段，新分区表字段能够显示，老的分区表字段无法显示，在hdfs上显示正常。测试具体情况：1、创建一个测试表2、插入一条数据insert into table cyx_test partition(dt='20180101') values('0101','java','shenz...
2018-06-22 13:56:24
6578
1
原创 Oracle表空间创建、查询、增加容量
--查询表空间大小及用量SELECT SUM(bytes) / (1024 * 1024) AS free_space, tablespace_name FROM dba_free_space GROUP BY tablespace_name; SELECT a.tablespace_name, a.bytes total, b.bytes used, c.bytes free, (...
2018-05-22 16:40:37
1329
原创 Apache Drill 分布式集群安装及查询Hbase
Drill是分布式的SQL查询引擎，可用于查询hdfs上的Nosql数据库或文件系统，支持（Hive, HDFS, Hbase、mongo db等），实现快速查询。这里介绍的是drill分布式安装配置，以及配置查询hdfs。Drill可独立部署，集群部署依赖于zookeeper。下载 Drill0.8.0上传到集群的master /usr/java/目录下解压到当前文...
2018-03-19 09:27:03
2788
2
原创 solrj 开发solr查询统计方法
java、solrj API开发solr查询统计方法solr常用的查询统计，通过solrj API实现， 有一般的条件过滤查询、分组查询、聚合查询等
2018-03-08 20:39:16
3291
原创 Linux下oracle服务与监听启动
1、 以oracle身份登录数据库，命令：su oracle2、进入Sqlplus控制台，命令：sqlplus /nolog3、以系统管理员登录，命令：conn /as sysdba4、启动数据库，命令：startup5、如果是关闭数据库，命令：shutdown immediate6、退出sqlplus控制台，命令：exit7、进入监听器控制台，命令：lsnrctl8、启动监听器，命令：start...
2018-03-01 11:54:39
735
原创 CDH5.8.2 Hbase建立solr二级索引步骤说明
CDH5.8.2集成版本Hbase建立solr二级索引1、确认所建Hbase表开启复制功能，默认不开启，CDH版本很多已开启# create 'table',{NAME => 'info', REPLICATION_SCOPE => 1} #其中1表示开启replication功能，0表示不开启，默认为0 对于已建立的表：# disable 'table' # alter 'table...
2018-03-01 11:50:06
1466
原创 Solr、SolrCloud整合spring框架配置说明
spring框架整合solr查询；zookeeper sasl安装认证；zookeeper Failed to load users/password/role files unknown sasl error
2018-03-01 11:18:20
2462
原创 Hadoop数据处理中的小问题
1、hdfs端口的坑，用惯了Apache Hadoop的hdfs，默认端口是9000，而CDH hdfs的端口则是8022Protocl message end-tag did not match expectd tag; 这个报错，只要把端口改过来就行了。2、Sqoop从hdfs导入oracle，oracle字段长度不够 (或字段没有对应上造成的)value too large for colu...
2018-03-01 09:47:57
895
原创 CDH 安装Kafka服务的一些小问题
一、第一个是比较普遍的问题，内存溢出刚开始配置时大家直接点击主页，离开页面即可。再在配置里修改java内存然后重启就行了二、配置broker.id 问题，可以直接在页面上改成一样的配置Configured broker.id 383 doesn't match storedbroker.id 120 in meta.properties.直接在相关实例的配置里修改三、这是提示添加白名单，在cm集群...
2018-03-01 09:31:37
5058
原创 CHD Spark1.6升级为Spark2.1安装步骤
Caused by: java.lang.AbstractMethodError: spark.WordCount$1.call(Ljava/lang/Object;)Ljava/lang/Iterable;Spark编译版本与运行环境的版本不一致导致 CHDspark1.6升级2.1...
2018-03-01 08:28:42
1349
1
原创 CDH5.8.2分布式集群环境安装图文教程
本案例基于centos6.5安装CDH5.8.2分布式集群环境，都是在root用户下进行操作。到官网下载相应的安装包与校验文件集群环境：192.168.168.124 master；192.168.168.125 slaver1；192.168.168.126 slaver2一、准备工作1、卸载原jdk并安装jdk1.7.0_45，然后配置环境变量2、关闭防火墙和关闭selinux3、修改...
2018-02-28 19:00:50
3097
原创 centos6.5 安装配置mysql5.6-RPM及修改数据目录
到官网下载软件包MySQL-5.6.36-1.el6.x86_64.rpm-bundle.tar检查默认安装情况：# rpm -qa | grep mysql# rpm -qa | grep -i mysql # 检查rpm安装包并用root用户删除原有程序进到安装文件夹# cd /usr/mysql安装服务端与客户端(root用户安装)# rpm -ivh MySQL-server-5....
2018-02-28 17:57:23
884
原创 Hadoop2.6.4 HA 高可用分布式集群安装配置详细步骤
zookeeper在hadoop HA中的应用，zookeeper监控NN和RM，当发现有服务挂掉时，会通过选举服务选出一个active状态的节点继续运行。（已完成的准备工作：1、安装jdk并配置环境变量；2、关闭防火墙；3、ssh无密登录；4、安装zookeeper集群服务）所用环境与安装zookeeper环境一样，可参考。《centos6.5 zookeeper 集群服务安装》5台机器...
2018-02-28 08:30:39
727
原创 centos6.5 zookeeper 集群服务安装
Zookeeper做为分布式协调服务，用于统一数据管理，可以单独安装应用，不依赖于其他组件，其他集群服务是依赖于zookeeper来同步服务以及文件。都是用root用户，zookeeper-3.4.10.tar.gz 放在下载文件夹下5台机器的集群配置如下（已安装并配置jdk环境变量）192.168.168.116 master1192.168.168.117 master2192.168...
2018-02-26 10:30:36
462
原创 Apache Hadoop 分布式集群环境安装配置详细步骤
案例基于centos6.5安装hadoop2.6.4集群部署，使用两个节点作为集群环境，一个为Master节点，IP为192.168.168.139；另一个作为Slave1节点，IP为192.168.168.141一、准备工作（所有机器）1、创建hadoop用户，并修改/etc/sudoers文件赋予用户root权限 （直接用root用户也可以）2、修改机器名称 # ...
2018-02-08 10:36:22
4395
原创 centos7安装后没有网卡驱动？
新配的服务器，配置的网卡较高，centos7自带的网卡驱动无法识别，需要重新编译安装。1、安装好centos7 64位桌面版后（其他版本同样适用），执行 # ifconfig查看没有相应的网卡信息2、下载驱动文件，并上传3、解压到当前文件夹 # tar –xvf e1000e-3.3.3.tar 进到解压文件夹的src下，执行make 重新编译网上有些信息说，还要执行make install （...
2018-02-07 10:09:38
27282
1
原创 PTC Windchill10.2安装
安装PTC Windchill 需要安装jdk与数据库（oracle），可以参考前面的文章。这里jdk与数据库略过。安装windchill前一般要先配置host文件：1、在路径C:\WINDOWS\system32\drivers\etc下找到文件hosts，编辑它，在后面"加入" “127.0.0.1 ghost.ptc.com”，下一步;注意里面 # 为注释标示，不要在前面写 # 。其中12...
2018-02-01 11:32:15
13496
2
原创 Oracle11g安装
oracle11g安装，官网下载安装包。安装过程比较简单，也记录一下注意要把两个压缩包解压到一起，解压后就是一个database的文件夹，点击安装即可这里只能安装数据库软件即可安装单实例数据库指定基目录和主目录等待完成安装后关闭即可。启动监听及相关服务dbca创建实例，就可以用了...
2018-01-30 17:51:45
327
原创 Pl/sql安装与配置连接oracle
一、网上下载安装包，解压出来一个是安装包，一个是汉化包，一个是破解工具1、点击安装，默认完成安装即可，打开2、运行破解软件，点击generate3、填写相应的信息4、点击register注册5、关闭后执行汉化软件，默认执行即可，然后打开pl/sql就是中文信息了刚开始没有配置是无法显示、连接数据的二、pl/sql 连接oracle，需要下载跟pl/sql相应的客户端文件解压到非中文目录在里面新建t...
2018-01-30 17:14:41
555
原创 Myeclipe安装与破解
一、之前用的一个版本，亲测对10的几个版本都有效，现在用的工具和版本都五花八门，如果是用的一样版本，希望能对大家有帮助。[Crack源码非我所写，作者已不可追溯，在此表示感谢]安装myeclipse，默认下一步，选择相应的操作系统，下一步，完成安装安装目录如下，一会破解要用到打开myeclipse，会显示提醒信息二、破解步骤；关闭myeclipse，解压Crack，执行cracker.jar1、输...
2018-01-30 17:06:34
811
原创 Eclipse插件篇
一、eclipse反编译插件，对于查看源码必不可少的工具其实就下载两个，一个反编译的程序，一个反编译包即可安装之前：直接把反编译包放在%eclipse_home%\dropins目录下重启，然后配置编译程序jad.exe位置，Window—preference—java-jadclipse配置class文件默认打开方式Window—preference—General—editors—File A...
2018-01-28 11:57:08
188
原创 Eclipse安装与配置
一、官网下载eclipse-jee-mars-R-win32-x86_64.zip，这个是不需要安装的，直接解压就可以用二、eclipse常用设置2.1、修改字体 Window—Preferences—General—Appearance—Color and Fonts—Basic—Text Font2.2、显示代码行号 Window—Preferences—General—Editors--Te...
2018-01-23 17:33:08
20373
2
原创 Jdk安装与环境配置
一、官网下载需要的版本，尽量下载安装版，1.7后jdk与jre同时安装，方便配置直接点击，安装，默认下一步即安装完之后会安装jre，默认在同一目录下，点击下一步完成安装。二、配置环境变量：新增JAVA_HOME 值对应安装目录到binC:\Program Files\Java\jdk1.7.0_45修改Path，在后面添加; %JAVA_HOME%\bin;%JAVA_HOME%\jre\bi...
2018-01-23 17:14:25
248
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人