- 博客(50)
- 收藏
- 关注
RSS订阅原创 windows下mysql的下载、安装与配置（迭代中...）
1）my.ini文件，个人自定义设置大概如下[mysql]# 设置mysql客户端默认字符集[mysqld]# 设置3306端口# 设置mysql的安装目录# 设置 mysql数据库的数据的存放目录，MySQL 8+ 不需要以下配置，系统自己生成即可，否则有可能报错# 允许最大连接数# 服务端使用的字符集默认utf8mb4# 创建新表时将使用的默认存储引擎#binlog日志名称前缀#默认值未0，如果使用默认值则不能和从节点通信，这个值的区间是：1到(2^32)-1。
2023-01-09 16:17:02
539
1
转载 Shell命令批量杀死进程
在Linux操作系统中，一般常用的杀死进程的命令是kill、pkill、killall，根据杀死单个进程拓展至批量杀死进程。结果如下图2）根据进程号（PID）杀死进程：第二列显示的就是进程号kill命令杀死指定进程PID的进程kill PID3）强制杀死进程。（有些进程可能杀不死，就加个-9参数，强制将其杀死）4）杀死多个进程，在命令 kill -9 后面跟多个进程的PID号即可。（进程号之间以空格隔开）
2023-01-05 11:48:32
3613
原创 kettle的下载安装以及问题点
6）把工程达成jar包，名称参考安装版 plugins/pentaho-big-data-plugin/下的pentaho-big-data-plugin-版本号.jar的名字，然后替换安装版这个jar包为工程导出的jar包，重启kettle，DB连接的HadoopHive2连接的特征列表的supportsBatchUpdate已经是Y了，实际转换中的表输出速度也提高到几千条每秒。异常原因：在kettle的big-data-plugin插件的源码中把批量提交的方法关闭了，所以其只能单挑插入，效率就非常低。
2023-01-04 18:09:53
9853
原创 Hive框架里面的一些组件（迭代中...）
1）将现有的所有hive的服务停止，不需要修改任何服务，在某一台机器上执行hiveserver2或者hive --service hiveserver2的命令，开始启动hiveserver2的服务，hiveserver2的服务也是一个阻塞式窗口，当开启服务后，会开启一个10000的端口，对外提供服务。HiveServer2(HS2)是一种能使客户端执行Hive查询的服务。Hive客户端工具后续将使用Beeline 替代HiveCLI ，Beeline是Hive新的命令行客户端工具。
2022-12-20 17:29:50
469
原创 Notepad++ 配置设置（迭代中）
具体步骤：Setting → Style Configurator → language : Global Styles；Style : Global override → 打钩上 (Enable global background colour) → Colour Style 里点击 Background colour → 点击MoreColos在背景色设置界面，设置成（色调：80 饱和度：97 亮度：205）（红R：202 绿G：234 蓝B：206），添加到自定义颜色，确定，然后将设置使用到全局，将使
2022-07-14 15:21:20
517
原创 Centos7上安装配置Spark
该文章主要是描述单机版Spark的简单安装，版本为 spark-3.1.3-bin-hadoop3.2.tgz1、Spark 下载、解压、安装Spark官方网站： Apache Spark™ - Unified Engine for large-scale data analytics Spark下载地址：Index of /dist/sparktar -zxvf spark-3.1.3-bin-hadoop3.2.tgz -C /opt/modulemv spark-3.1.3-bi
2022-04-20 17:19:22
6393
原创 Linux-查看磁盘使用情况df/du命令
1、df 命令df：disk free 空余硬盘，df 查看磁盘空间使用情况1）基本语法df 选项 （功能描述：列出文件系统的整体磁盘使用量，检查文件系统的磁盘空间占用情况）2）选项说明 选项 功能 查看磁盘使用情况，以 KB 为单位显示 -h 查看磁盘使用情况，但是可以根据磁盘的大小，适当的显示单位 M 或 G（常用） -i 查看分区下面有多少个 inode ，以及 inode 使用情况
2022-04-19 15:40:29
4088
原创 Hue安装、或操作过程中遇到的问题
[Hue-001] 编译Hue时报错，File “/usr/bin/yum“, line 30 except KeyboardInterrupt解决方案：主要是系统自带的python2.7，默认环境是python，你安装python3.x后，更改默认/usr/bin/python的软引用为python3.x导致的。直接修改/usr/bin/yum文件中的第一行为 #!/usr/bin/python2.7[Hue-002] Hue启动报错，OperationalError: attempt to w
2022-04-14 16:22:56
3110
原创 Centos7上安装配置Hue
1、HUE 编译安装Hue官方网站：Hue - The open source SQL Assistant for Data WarehousesHue官方用户手册：Hue Guide :: Hue SQL Assistant Documentation官方安装文档：Install :: Hue SQL Assistant DocumentationHue下载地址：Releases :: Hue SQL Assistant DocumentationHue的官方并没有编译好的软件包，所有其安装
2022-04-12 11:52:52
2947
原创 Linux下安装Python3.x和第三方库
1、安装python3.x（下面的步骤统一使用root用户操作）1.1 安装依赖环境yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-develpython3.7版本之后需要一个新的包libffi-develyum install libffi-devel
2022-04-01 16:48:11
1725
原创 flink-connector-mysql-cdc_2.0.2
官方参考文档：MySQL CDC Connector — Flink CDC documentationhttps://ververica.github.io/flink-cdc-connectors/master/content/connectors/mysql-cdc.html1、测试步骤：1）开启MySQL Binlog并重启MySQL2）启动HDFS集群[hadoop@linux100 flink-1.13.5]$ start-dfs.sh3）启动Flink集群[hado
2022-03-09 14:01:10
4387
1
原创 Kafka-命令行操作
配置注意点kafka 默认分区为1个，如果更改配置文件的分区数，以后默认创建分区的数据就是更改的分区数。分区数一般根据处理器个数来设置（主要是提高并发处理）+Kafka-命令行操作1）查看当前服务器中的所有topicbin/kafka-topics.sh --zookeeper linux102:2181 --list2）创建topicbin/kafka-topics.sh --zookeeper linux102:2181 \--create --replication
2022-01-27 10:53:29
365
原创 Spark-远程调试
第一种方法：1、启动需要调试项目jar命令：（参考原始命令）./bin/spark-submit --master yarn --deploy-mode cluster \--num-executors 8 \--executor-cores 4 \--executor-memory 12G \--driver-java-options "Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=18888" \--c
2022-01-26 18:18:55
2118
原创 Chapter3 Elasticsearch restful api (DSL)
3.1 elasticsearch的基本概念 cluster 整个elasticsearch 默认就是集群状态，整个集群是一份完整、互备的数据。 node 集群中的一个节点，一般只一个进程就是一个node shard 分片，即使是一个节点中的数据也会通过hash算法，分成多个片存放，默认是5片。（7.0默认改为1片） index 相当于rdbms的d
2022-01-26 14:20:15
124
原创 Chapter2 ElasticSearch的安装
2.1 下载/安装elasticsearch2.1.1 安装包下载Elasticsearch官网： Elasticsearch: The Official Distributed Search & Analytics Engine | ElasticElasticsearch 6.6.0 | Elastic下载好后拷贝到/opt/module/目录下2.1.2 修改配置文件.../elasticsearch-6.6.0/config/elasticsearch.yml...
2022-01-25 18:11:37
1586
原创 Chapter1 Elasticsearch简介
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。1.1 elasticSearch的使用场景为用户提供按关键字查询的全文搜索功能。 实现企业海量数据的处理分析的解决方案。大数据领域的重要一份子，如著名的ELK框架(ElasticSearch,Logstash,Kiban...
2022-01-25 17:03:03
95
原创 Chapter7 Linux-常用基本命令
帮助命令7.1.1 man 获得帮助信息1）基本语法man [命令或配置文件] （功能描述：获得帮助信息）2）显示说明 信息 功能 NAME 命令的名称和单行描述 SYNOPSIS 怎样使用命令 DESCRIPTION 命令功能的深入讨论 EXAMPLES 怎样使用命令的例子...
2022-01-22 14:49:09
418
原创 IDEA上一些配置问题
1、默认设置（全局设置：只对新文件有效）file –> setting –> code style –> Line separator，选中需要替换的分隔符类型注意： Line separator下面有行小字，applied to new files，意味着该处设置只针对于新增的文件。2、IDEA批量替换文件换行符、分隔符CRLF、LF、CR指定范围设置（可用于老项目改造）1）选中你需要更改的文件目录（或者直接选择父目录），选中的目录代表下面的所有文件都会被更改 lin
2022-01-17 15:16:05
980
原创 linux下mysql的下载、安装与配置
1、mysql的下载、安装到官网下载linux版本安装包：MySQL :: MySQL Community Downloadshttps://dev.mysql.com/downloads/地址：MySQL :: Download MySQL Community Server (Archived Versions)https://downloads.mysql.com/archives/community/...
2022-01-12 17:50:04
3206
原创 大数据 —— CentOS虚拟机配置
1.1 linux100虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例）1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况[root@linux100 ~]# ping www.baidu.comPING www.baidu.com (14.215.177.39) 56(84) bytes of data.64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 tt
2022-01-04 22:02:18
1672
原创 VMware、CentOS的安装
1 VMware安装1.1 进入VMware双击VMware图标，看到如下界面1.2 自定义新的虚拟机1.3 解决虚拟机的兼容性1.4 选择当前虚拟机的操作系统1.5 选择虚拟机将来需要安装的系统1.6 配置电脑1.7 设置虚拟机处理器的数量（两者相乘不能超过物理机的cpu个数）1.8 设置虚拟机的内存内存大小有一定要求，建议4G，不能给太多，后期会有多台虚拟机同时启动1.9 选择虚拟机上网方式1）选择NAT的方式2）.
2022-01-04 17:48:06
305
原创 Apache Airflow
Airflow官网：https://airflow.apache.org/集群运行任务情况：大概1300+10min任务：3630min任务：311h任务：45剩下的天、周、月级任务（主要天级）：1200+任务挂了的操作：1）运行成功或者失败都会发邮件、发钉钉、集成自动打电话（项目中遇到的问题）2）最主要的解决方案就是重新跑。3）第三方报警网站：http://www.onealert.com/...
2021-11-16 09:45:37
371
原创 Apache Zookeeper
1、选举机制半数机制：2n+1，安装奇数台10台服务器：3台20台服务器：5台100台服务器：11台台数多，好处：提高可靠性；坏处：影响通信延时2、常用命令ls、get、create、delete3、Paxos算法（扩展）注意：暂时先不用看。如果后期准备面今日头条，需要认真准备，其他公司几乎都不问。Paxos算法一种基于消息传递且具有高度容错特性的一致性算法。分布式系统中的节点通信存在两种模型：共享内存（Shared memory）和消息传递（Messages p
2021-11-15 17:03:54
1542
原创 Apache Kafka
有replica.lag.max.messages（延迟条数）和replica.lag.time.max.ms（延迟时间）两个参数决定一台服务是否可以加入ISR副本队列，在0.10版本移除了replica.lag.max.messages参数，防止服务频繁的进去队列。发送的消息可以是网站的页面访问、服务器日志，也可以是CPU和内存相关的系统资源信息。这个key的作用是为消息选择存储分区，key可以为空，当指定key且不为空的时候，Kafka是根据key的hash值与分区数取模来决定数据存储到那个分区。...
2021-11-14 19:20:45
394
原创 Linux&Shell
1 Hive的架构Hive元数据默认存储在derby数据库，不支持多客户端访问，所以将元数据存储在MySQl，支持多客户端访问。2 Hive和数据库比较Hive和数据库除了拥有类似的查询语言，再无类似之处。1）数据存储位置Hive存储在HDFS。数据库将数据保存在块设备或者本地文件系统中。2）数据更新Hive中不建议对数据的改写。而数据库中的数据通常是需要经常进行修改的， 3）执行延迟Hive执行延迟较高。数据库的执行延迟较低。当然，这个是有条件的...
2021-11-12 18:23:38
1006
原创 Apache Hadoop
1 Hadoop常用端口号 hadoop2.x Hadoop3.x 访问HDFS端口 50070 9870 访问MR执行情况端口 8088 8088 历史服务器 19888 19888 客户端访问集群端口 ...
2021-11-12 15:45:42
157
原创 Apache Hive
1 Hive的架构Hive元数据默认存储在derby数据库，不支持多客户端访问，所以将元数据存储在MySQl，支持多客户端访问。2 Hive和数据库比较Hive和数据库除了拥有类似的查询语言，再无类似之处。1）数据存储位置Hive存储在HDFS。数据库将数据保存在块设备或者本地文件系统中。2）数据更新Hive中不建议对数据的改写。而数据库中的数据通常是需要经常进行修改的，3）执行延迟Hive执行延迟较高。数据库的执行延迟较低。当然，这个是有条件的，即数据规模...
2021-11-10 15:35:09
422
原创 Apache Sqoop
1 Sqoop参数/opt/module/sqoop/bin/sqoop import \--connect \--username \--password \--target-dir \--delete-target-dir \--num-mappers \--fields-terminated-by \--query "$2" ' and $CONDITIONS;'2 Sqoop导入导出Null存储一致性问题Hive中的Null在底层是以“\N”来存储..
2021-11-10 14:05:57
1559
原创 对volatile的理解
一、请谈谈你对volatile的理解？1.volatile是java虚拟机提供的轻量级的同步机制：(3大特性)保证可见性 不保证原子性 禁止指令重排2.JMM(java内存模型)你谈谈？JMM(Java内存模型Java Memory Model,简称JMM)本事是一种抽象的概念并不真实存在，它描述的是一组规则或规范，通过这组规范定义了程序中各个变量（包括实例字段，静态字段和构成数...
2021-11-10 11:03:22
109
原创 redis cluster集群搭建简单笔录
一、安装redis去官网下载所需的redis对应版本的压缩包，之后将它放入到linux系统目录/opt下（自己指定） 用压缩命令压缩：tar -zxvf redis-xxx.tar.gz 压缩完成之后进入目录：cd redis-xxx 在redis-xxx目录下执行make命令（运行） 执行完make后，跳过redis test 继续执行make install可能遇到的问题？（...
2020-04-01 15:01:00
188
原创 Maven依赖的范围
Maven解析依赖信息时会到本地仓库中查找被依赖的jar包对于我们自己开发的Maven工程，使用mvn install 命令安装后就可以进入仓库依赖的范围[1]complie范围依赖对主程序是否有效：有效对测试程序是否有效：有效是否参与打包：参与是否参与部署：参与典型例子：spring-core[2]test范围依赖对主程序是否有效：无效对测试程序是否有效：有效是否...
2020-02-11 23:10:44
94
原创 db2 那一些普通命令
一些普通的db2命令： db2命令 解释说明 db2 connect to database(数据库名) 连接数据库 db2start 启动数据库 db2stop 停止数据库 db2 list db directory ...
2019-07-18 08:44:51
2477
原创 GitLab clone ssh模式的项目资源
对于gitLab 配置SSH认证由于gitLab 中clone 资源需要使用SSH 模式，因此需要创建自己的SSH key 并绑定gitLab账号git 配置运行Git Bash，先配置用户名和邮箱，和换行符配置：（这里的用户名和邮箱要和GitLab保持一致）git config --global user.name “用户名” （最后是邮箱前缀名，方便记住）git con...
2019-07-18 08:33:04
2881
2
原创 Xposed的那一些事情
使用步骤： a.安装Xposed Installer b.在AndroidManifest里面添加metadata c.新建一个class实现IXposedHookLoadPackage接口 d.在Assets里面新建一个xposed_init文本文件，在里面添加上一步class的完整类名 e.编写hooker逻辑 注意事项： a.对包名做限制 b.XposedHelpers...
2019-02-15 10:09:41
360
原创 Git上配置多个不同的账号
在使用Git管理代码时，很大可能会存在两个（或多个）账号，公司（一般gitlab），个人（github或其他的），这时候就要同时操作两个不同的账号。官方文档。
2018-08-21 16:38:35
5703
1
原创 如何把自己的应用变成系统的apk，使其无法被卸载
做一个应用如何实现像系统应用一样，使其无法卸载呢？1、首先要获取root权限2、adb shell 命令 操作 先拷贝apk到手机切换到root用户 把apk拷贝到系统目录/system/app/建议在 /system/app/里创建自己的文件夹 如 /system/app/demofile/,然后将demo.apk放到 /system/app/demofile文件夹中如果权限不够，就要更改权限 ...
2018-06-23 12:49:40
4895
原创 Chapter3 Linux文件与目录结构
3.1 Linux文件Linux系统中一切皆文件3.2 Linux目录结构[root@linux100 /]$ lsbin boot data dev etc home lib lib64 lost+found media mnt opt proc root run sbin srv sys tmp usr var 目录名称 说明 /bin 是Binary的缩写, 这个目录存放着最经常使.
2018-06-03 17:59:38
224
原创 Chapter4 VI/VIM编辑器
4.1 测试数据准备① 拷贝/etc/smartd.conf数据到/root目录下[root@linux100 ~]# cp /etc/smartd.conf /root[root@linux100 ~]# cd /root/4.2 一般模式 以vi打开一个档案就直接进入一般模式了（这是默认的模式）。在这个模式中， 你可以使用『上下左右』按键来移动光标，你可以使用『删除字符』或『删除整行』来处理档案内容， 也可以使用『复制、贴上』来处理你的文件数据。表1...
2018-06-02 16:57:05
249
原创 Linux系统分区等要点
1、硬件设备文件名硬件 设备文件名 IDE硬盘 /dev/hd[a-d] SCSI/SATA/USB硬盘 /dev/sd[a-p] 光驱 /dev/cdrom 或 /dev/hdc 软盘 /dev/fd[0-1] 打印机（25针） /dev/lp[0-2] 打印机（USB） /dev/usb/lp[0-15] 鼠标 /dev/mouse 2、分区设备文件名/dev/hda1(IDE硬盘接口)(传输速度1.
2018-06-02 12:16:39
95
原创 命令符 微信收藏链接
命令符 微信收藏链接adb shell am start -a android.intent.action.SEND -n com.tencent.mm/.ui.tools.AddFavoriteUI --es android.intent.extra.TEXT http://baidu.com/
2017-08-11 14:00:06
841
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人