一休求索

1.将设备中的文件导入到windows文件夹中具体命令格式如下：ftpput -u wp -p wp 10.10.29.209 core.dolmgmt.app解释：-u 用户名 user -p 密码 password 10.10.29.209 window电脑ip core.dolmgmt.app 需要导出的文件2.下载文件到设备中ftpget -u wp -p wp 10.10.29.209 dolmgmt.app解释：-u 用户名 user -p 密...

Hadoop/Yarn的日志清理Hadoop/Yarn的本地日志（非Yarn Container生成的日志）Yarn的Container生成的日志1. Hadoop/Yarn本地日志的清理Hadoop/Yarn使用log4j进行日志输出，所以对于它们本地日志的清理，最好的方式是通过修改log4j的配置配置文件，以rolling的方式写入日志。Hadoop/Yarn的log4j配置文件一般会放置于/etc/hadoop或/etc/hadoop/conf下，确切的位置与你使用的Had...

需要按照idea2019以上版本，安装好IDE后，File->Setting->Plugins->搜索scala 点击install详细操作间如下图示：本地安装scala-2.11.8.msi 后，在再IDE中设置Scalajar包，File->Project Structure->Global libraries->+, 然后添加Scala SDK。如下图所示添加完成后，对应的spark下面的Scala代码就能正常的显示和运行起来...

第一次错误：Traceback (most recent call last): File "/var/lib/ambari-agent/cache/common-services/HIVE/0.12.0.2.0/package/scripts/hive_metastore.py", line 203, in <module> HiveMetastore().execute() File "/usr/lib/python2.6/site-packages/resource_...

一：安装Anaconda和Tensorflow1：从官方网站下载Anacondahttps://www.anaconda.com/download/建议不要直接安装最新版本，可以下载历史版本，我这边选择‘Anaconda3-2020.07-Windows-x86_64.exe’2：进行软件安装（这个和普通的没什么特别区别）3：安装完成Anaconda之后进行环境变量的测试进入到windows中的命令模式：（1）检测anaconda环境是否安装成功：conda...

有时候部署的jar包存在内存释放不及时导致服务假死或者卡顿情况，所以增加定时清除内存功能非常有必要。[root@localhost ~]#crontab -e 添加定时*/30 * * * * root /root/satools/freemem.sh==============================================================关于定时器规则编写：基本格式 :*　　*　　*　　*　　*　　command分　时　日　月　...

环境：centos6/7安装(1)安装更新所需组件工具# yum update# yum install gcc gcc-c++ autoconf automake(2)准备安装包tengine-2.2.1.tar.gzpcre2-10.21.tar.gzopenssl-1.0.2n.tar.gzjemalloc-5.0.1.tar.bz2zlib-1.2.11.tar.gz(3)统一解压至/usr/local/src目录下#tar -zxvf tengine-

kettle安装详细请参照：https://blog.csdn.net/weixin_42575806/article/details/113542806安装图形化界面yum groupinstall "X Window System"在 data-integration文件夹下，执行./kitchen.sh 如果出现帮助信息表示部署成功， 我这里出现了如下警告直接yum install webkitgtk安装，会报错提示：No package webkitgtk available.

目前涉及到多数据源的情况，大数据集群需要把相关的数据按照一定的需求进行抽取，因此采用kettle进行数据拉取使用。首先安装三台centos7 ,分别配置好静态ip，ssh免密码登录，关闭防火墙，jdk1.8安装，ntp时间同步 请参照https://blog.csdn.net/weixin_42575806/article/details/110185977具体步骤这里不多说了！我这里已经安装好了，我是在虚拟机里面装了三个节点我这里通过xshell远程工具来连接的先把主机名和..

安装程序下载在官网上下载Source Insight 4.0的安装程序.目前版本4.00.0098可用已经分享到网盘链接: https://pan.baidu.com/s/1xyprwNSXLpj7kpDa7LaF_Q提取码: v3cy30天的试用安装首次启动选择授权方式，这里选择第二个选项，30天试用。点击下一步，输入名称、公司或组织名称、邮箱信息，申请30天的试用。输入完成后，点击下一步，直到安装完成。修改sourceinsight4.exe用16进制.

好不容把大数据集群装好了，但是hive始终启动不了。第一步先认真的检查一下mysql中创建的hive数据和用户名create database hive default charset utf8 collate utf8_general_ci; CREATE USER 'hive'@'%' IDENTIFIED BY 'Hive-123';GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%';FLUSH PRIVILEGES;这个一定要增加，要不然本地

解决方法是：将yarn配置文件中的is_hbase_system_service_launch和use_external_hbase勾选最终成功启动

一、环境准备1、centos7以上系统2、mysql版本：mysql-5.7.213、jdk版本：java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_644、Ambari版本：Ambari-2.7.1.05、HDP版本：HDP-3.1.06、保证所有节点时间同步二、关闭服务器防火墙并设置开机不启动（所有服务器）指令： systemctl disable firewalldservice firewalld stop三、分..

一、准备工作1.1、准备三台CentOS1.2、配置静态IP、DNSvi /etc/sysconfig/network-scripts/ficfg-ens33IPADDR为 配置的ipNETMASK 子网掩码GATEWAY 网关配置保存后重启虚拟网络service network restart1.3、配置Hostnamevi /etc/hostname#将第一行替换成新名字master配置hosts文件vi /etc/hosts1..

1.下载mysql-8.0.17-linux-glibc2.12-x86_64.tar.xz2.解压tar -xvf mysql-8.0.15-linux-glibc2.12-x86_64.tar.xzmv mysql-8.0.15-linux-glibc2.12-x86_64 mysqlmv mysql /usr/localcd /usr/local/mysqlmkdir data3.编辑 my.cnfvim /etc/my.cnf文件内容为:[clie.

第一步：安装samba服务》yum install samba第二步：启动samba服务》systemctl start smb查看samba的状态》systemctl status smb看到Active就说明在运行中了第三步：关闭防火墙》systemctl stop firewalld.service //停止服务》systemctl disable firewalld.service //关闭开机启动同时还有这一步设置SELINUX=disabled（需要重启电脑）# vi /

kafka 2.11-2.4.1 消费者public static void main(String[] args ){ String topicName = "heartbeat"; String groupId = "group1"; Properties props = new Properties(); props.put("bootstrap.servers", "192.168.3.101:9092,192.168.3..

kafka集群生产者基本代码实现pom.xml <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> <version>0.10.2.1</version> <scope>com

kafka集群搭建总共使用三台服务器，分别为：192.168.3.101 bigdata1 192.168.3.102 bigdata2 192.168.3.156 bigdata3设置服务器名称设置服务器hostnamevim /etc/hosts127.0.0.1 localhost.localdomain localhost::1 localhost6.localdomain6 localhost6192.168.3.101 bigdata1192.168.3.102.

1.先下载cppcheck 软件，然后正常安装。cppcheck-1.71-x86-Setup.msi2.运行报错“无法定位程序输入点ucrtbase.abort与动态链接库api-ms-win-crt-runtime-l1-1-0.dll上”需要安装VC 2015 Redistributable，请自己选择相应的版本。百度云盘共享地址：http://pan.baidu.com/s/1hqiuM6S或者到微软官方下载，地址：https://www.microsoft.com/zh-cn

——可复用面向对象软件的基础设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真正工程化，设计模式是软件工程的基石，如同大厦的一块块砖石一样。项目中合理的运用设计模式可以完美的解决很多问题，每种模式在现在中都有相应的原理来与之对应，每一个模式描述了一个在我们周围不断重复发生的问题，以及该问题的核心解决方案，这也.

参照搭建之前请仔细阅读相关安装配置信息及注意事项：启动顺序，先启动数据库-->再启动zookeeper-->再启动zkdash在做qconfig管理的时候需要启动各个节点的qconfig客户端根据实际情况确定！qconf安装与配置一、安装QConf ：1. 使用源码安装1）git clonehttps://github.com/Qihoo360/QConf.git2) cd QConf3) mkdir build4) c...

写在前面：安装前先查看下老的openssl版本 （使用  openssl version -a  命令查看来版本），和服务器操作系统版本（uname   -a），升级的原因是，老版的openssl已经曝出漏洞，建议升级最新版本1、下载地址：http://www.openssl.org/source/ 下一个新版本的OpenSSL，我下的版本是：openssl-1.1.0e.tar.gz1....

前提由于文化的不同，我们使用的电脑必备一个软件就是中文输入法，而目前大多数人都使用搜狗拼音输入法或是其他类似的。而这些输入法跟 IntelliJ IDEA 有一个万恶的冲突永恒不变：快捷键冲突。所以为了配合 IntelliJ IDEA，我们要去掉这些输入法下的所有快捷键。IntelliJ IDEA 官方出的学习辅助插件：IDE Features Trainer：https://plugins.je...

目录前言：什么是JDBC一、准备工作（一）：MySQL安装配置和基础学习二、准备工作（二）：下载数据库对应的jar包并导入三、JDBC基本操作(1)定义记录的类（可选）(2)连接的获取(3)insert(4)update(5)select(6)delete四、测试五、代码分析六、思考问题  前言：什么是JDBC　　维基百科的简介：　　Java 数据库连接，（Java Database Connec...

PowerDesigner是一款功能非常强大的建模工具软件，足以与Rose比肩，同样是当今最著名的建模软件之一。Rose是专攻UML对象模型的建模工具，之后才向数据库建模发展，而PowerDesigner则与其正好相反，它是以数据库建模起家，后来才发展为一款综合全面的Case工具。PowerDesigner主要分为7种建模文件：1.  概念数据模型 (CDM)对数据和信息进行建模，利用实体-关系图...

安装步骤：1.下载mysql-5.6.40-winx64.ziphttps://cdn.mysql.com//Downloads/MySQL-5.6/mysql-5.6.40-winx64.zip2.下载可能需要的dll和vc环境#下载地址已经上传到csdn,方便大家下载https://download.csdn.net/download/chinesern/104772273.解压mysql5....

Kafka集群环境搭建本文只讲述Kafka集群环境的搭建步骤,后续会对kafka的其他相关知识进行整理.1、准备工作Linux服务器3台(本文将在一台linux服务器上建立三个文件夹来模拟三台linux服务器,搭建伪集群)JDK1.8http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html...

1.开启和关闭1.1.开启　　service mysql start1.2.关闭　　service mysql stop1.3.重启　　service mysql restart2.登录2.1.密码明文　　语法：mysql -u用户名 -p用户密码　　举例：mysql -uroot -p1234562.2.密码密文　　语法：mysql -u用户名 -p+回车，然后输入密码　　举例：mysql -u...