^o^Smile^_^-CSDN博客

原创 MEM备考打卡

三年前就想考MEM每次总是有各种原因最后选择了放弃，没时间、自制力差、害怕失败。放弃后确还是会想如果自己当时没有放弃是不是就能考上，所以这次不管能不能考上拼搏75天，不能总是停留在想象。1.管理类联考综合能力（数据+逻辑+写作）每天对学习的内容进行总结打卡。

2023-10-09 11:02:14 200

跳槽了，没想到工作不足半年又一次选择了辞职，这次还是裸辞，在就业环境不乐观的情况下平添了很多烦恼，卡里的余额只够维持两个月的房贷，不断受到打击再不停的给自己鼓劲，历时一个月终于入职新公司。这一年没有好好护肤，皮肤比较差经常爆痘，平时饮食比较喜欢吃辣，减少定外卖的次数，每天早起做饭，现在翻车的次数已经少很多了，朋友都说我做饭要比以前好吃很多，还有几道拿手菜了。以前也喜欢徒步只是不会很频繁，导致每次徒步后都会很累，但很过瘾，今年有段时间每周一山，虽然爬的过程中还是会很喘，但基本可以跟着领队走在前面。

2022-12-21 15:44:23 776 1

原创在公司的最后一天

今天是在公司的最后一天，照例还是早早的来到了公司，可能是习惯了吧，只在公司待了短短半年而已，为什么离职呢？现在形势如此严峻选择离职在很多人认为可能有点不理智，但最后还是做出了选择，诸多原因吧，觉得自己应该暂时停下来，对自己工作六年的一个间隔月，好好思考未来的方向。一直以来只顾着埋头干活，总觉得人生不就是这样吗？多思无益，但还是需要静下来想想，看准了方向在继续前行。......

2022-06-15 08:53:56 311

原创 Flink——读取Kafka数据处理后存入StarRocks

授权方式登录登录华为FusionInsight Manager下载flinkuser用户的授权文件user.keytab、krb5.conf 准备LoginUtil工具类登录代码如下：//loginString userPrincipal = "flinkuser";String userKeytabPath = System.getProperty("user.dir") + File.separator + "conf"+File.separator+"user...

2022-03-07 10:36:56 3474 1

原创 StarRocks建表优化全流程

查看StarRocks版本select current_version();查看状态MySQL> SHOW PROC "/brokers"\G mysql> SHOW PROC '/backends'\G mysql> SHOW PROC '/frontends'\GStarRocks的1副本意思是仅有一份数据，三副本为共有三份数据创建表前缀索引，where条件的放在表的前三列（前两列date/int,string放在第三列），其他需要作为查询条件的字段，通

2022-02-22 10:35:41 3060

原创 StarRocks——增量数据导入

1.准备增量导入脚本incrSyncTask.sh按日期增量导入#!/bin/bash. /etc/profile#开始日期格式20210101begin_date=$1#结束日期end_date=$2# 读库的IPr_ip=" 读库的ip"# 读库的端口r_port="读库的port"# 服务名称r_dbname="服务名称"# 读库的账号r_username="账号"# 读库的密码r_password="密码"#分区#r_partition=$1# 写库的

2022-01-27 17:11:12 1704 1

原创 StarRocks——分区表创建和数据导入

1.创建分区表CREATE TABLE tbl1 (ID VARCHAR ( 30 ) NOT NULL,ROWKEY VARCHAR ( 100 ) NOT NULL,.......PASS_TIME DATETIME NOT NULL) DUPLICATE KEY ( ID ) partition BY RANGE ( PASS_TIME ) ( ) DISTRIBUTED BY HASH ( ID ) BUCKETS 5 PROPERTIES ("dynamic_part

2022-01-24 10:45:24 7739

原创 Datax导入Oracle数据到StarRocks

1.下载DataX2.点击下载StarRocksWriter 插件一定要在本地解压后进入datax\plugin\目录下删除writer和reader标注的文件，在将文件上传到服务器，不然执行时会报错，已采坑。报错如下：3.在StarRocks下建立与Oracle数据库中一致的表结构PS:主要兼容MySQL语法，数据类型需要做一定的改动，点击查看支持的数据类型4.准备配置文件datax-test.json{ "job": { "s...

2022-01-18 10:35:41 1519

原创倍感艰辛的2021，充满挑战的2022

倍感艰辛的2021，充满挑战的2022

2022-01-11 22:49:30 205 1

原创 linux不同文件不同颜色

今天在登录新公司的服务器时看到了之前没有遇见过的文件颜色，以前看到的更多的是蓝色、白色、红色、绿色等。约定不同类型文件默认的颜色：白色：表示普通文件蓝色：表示目录绿色：表示可执行文件红色：表示压缩文件浅蓝色：链接文件红色闪烁：表示链接的文件有问题黄色：表示设备文件灰色：表示其它文件 ...

2021-12-01 14:43:41 1257

原创导出csdn博客为pdf

首先看一下导出的效果：标题+正文导出的代码：(function(){ 'use strict'; var articleBox = $("div.article_content"); articleBox.removeAttr("style"); $("#btn-readmore").parent().remove(); $("#side").remove(); $("#comment_title, #comment_list, #comm.

2021-11-23 10:42:21 139

原创 Docker——镜像导入导出

一.export和import1.export导出镜像2.export导出镜像二.save和load1.save导出镜像2.load导出镜像三.区别

2021-11-22 11:45:09 1195

原创今天我决定了辞职

今年的1月份有了辞职的念头，纠结、反复终于在今天下了决心。说来其实现在的公司整体还是挺好的，除了工资不高。可就是工资最终决定了我一定要辞职。去年年底靠工作几年攒的钱和爸妈赞助的一点钱在北京周边买了一套房，本来一切想的还挺好的公积金+工资还房贷还是没什么压力的，一切似乎都想的挺好的。可偏偏在买房后不久，哥哥向爸爸坦白他在外面有几十万的债务，虽然已经适应了家里每隔几年就会出点事，但是知道事情后一时还是有点接受不了，但还要稳住爸爸的情绪，事情更是一直没有告诉妈妈，最终想到的解决......

2021-11-21 14:19:53 82

原创 Docker——搭建ELK

安装Elasticsearch1.拉取镜像docker@box:/home/box$ docker pull elasticsearch:7.14.22.在宿主机准备配置文件创建目录docker@box:/$ mkdir -p /server0/config/elk在/server0/config/elk目录下创建elasticsearch.yml文件在elasticsearch.yml添加配置信息cluster.name: "docker-cluster"..

2021-11-15 07:49:17 495

原创面试——2021.11.12复盘

1.为什么离职？2.项目介绍3.面试问题（1）算法手写代码快速排序算法（2）Linux 统计文件有多少行？ [docker@MiWiFi-R4A-srv opt]$ sudo vim test.log [docker@MiWiFi-R4A-srv opt]$ wc -l test.log 2 test.log[docker@MiWiFi-R4A-srv opt]$ cat test.log |wc -l2（3）Spark 讲一下你对RDD的理解

2021-11-13 17:33:55 1439

原创 Docker——docker: invalid reference format

从网上拷贝下来的命令一直报错，网页上复制下来的–应该是-才对，最后重新敲了一遍命令，就能正常执行了docker@box:~$ docker run -it -d --restart=always -u root --net=host --name test1109 -v /sever0:/sever0 -v /usr/bin/docker:/usr/bin/docker -v /var/run/docker.sock:/var/run/docker.sock tt/demo:v1.0...

2021-11-09 14:58:21 798

原创 Docker——进入容器报错

之前一直使用一下命令进入容器，这次却报错了docker@box:/home/box$ docker exec -it test1109 /bin/bash改用一下方式，成功进入容器docker@box:/home/box$ docker exec -it test1109 sh原因呢？

2021-11-09 14:39:36 513

原创 Docker——平台部署方案

1.架构图2.搭建步骤（1）环境准备准备java8镜像，参考Docker——创建最小的java8镜像（2）镜像准备制作java程序镜像，参考Docker——使用Dockerfile制作java程序镜像（3）创建容器并启动docker@box:~$ docker run -it -d --restart=always -u root --net=host --name test1109 -v /sever0:/sever0 -v /usr/bin/docker:/usr/b.

2021-11-09 13:46:45 1128

原创 Docker—— --net=host参数改变容器网络模式

--net=host：(1).加了--net=host以后就不需要再做端口映射了.比如docker容器内在8080端口起了一个web server.不加的话需要把本机的某个port比如7979和docker内的8080做一个映射关系,访问的时候访问7979. 加了net=host则直接访问8080.另外,加了net=host后会使得创建的容器进入命令行好名称显示为主机的名称而不是一串id.　root@box:/#(2).容器中的app1无法访问到宿主机的app2，因为两者不在一个网络内。最简

2021-11-09 11:17:30 21464

原创 Docker——创建最小的java8镜像

为什么要创建最小的java8镜像？从docker仓库拉取下来的java镜像643MB, tt/java8是删除了不必要文件后构建的镜像。步骤：1.准备jre：jre-8u311-linux-x64.tar.gz上传并解压root@box:/opt/software# sudo tar -zxvf jre-8u311-linux-x64.tar.gz -C ../module/2.进入到jre目录，删除不必要的文件box@box:/opt/software$ cd /o.

2021-11-09 11:03:09 4490

原创 Docker——容器内部执行宿主机的docker命令

现在有一个需求是在容器内部使用docker命令，但试了一下报命令不存在解决办法：把docker相关的命令和依赖使用-v挂载到容器docker@box:~$ docker run -it -d \> --restart=always -u root \> -v /usr/bin/docker:/usr/bin/docker \> -v /var/run/docker.sock:/var/run/docker.sock demo1:1.0762d4583d2200b

2021-11-08 15:20:28 4271

原创 Docker——容器内 apt-get update失败解决办法

出现问题解决方法1.通过--net=host参数改变容器网络模式解决--net=host：(1).加了--net=host以后就不需要再做端口映射了.比如docker容器内在8080端口起了一个web server.不加的话需要把本机的某个port比如7979和docker内的8080做一个映射关系,访问的时候访问7979. 加了net=host则直接访问8080.另外,加了net=host后会使得创建的容器进入命令行好名称显示为主机的名称而不是一串id.　root@box:/#

2021-11-08 14:16:18 7269 1

原创 Centos7——scp和rsync

1.scpscp就是secure copy安全拷贝 ,用于将文件或者目录从一个Linux系统拷贝到另一个linux系统下。scp传输数据用的是SSH协议，保证了数据传输的安全。格式：scp 远程用户名@ip地址：文件的绝对路径本地Linux系统路径（从远程主机拉取文件）scp 本地linux系统文件路径远程用户名@ip地址：远程系统文件绝对路径名（像远程主机推送文件）使用 -P参数可跟端口号，指定远程连接的端口号。当报错 "not a regular file";可加参数 ..

2021-11-07 21:48:49 1327

原创 VMware 多个虚拟机时，上网问题

1.网络方式：桥接2.ip设置为动态的 dhcp以上两个设置可以实现虚拟机上网问题，但是很多时候需要设置ip为静态的，但是多次尝试设置为静态ip后虚拟机就无法上网了（待解决）

2021-11-07 21:24:44 885

原创 Centos7——SSH免密登录

默认情况下没有连接另一台电脑时都需要手动输入密码才能连接成功，为了能够简化操作可以将经常需要通信的两台电脑设置免密登录需要密码登录如下图免密登录如下图开始配置免密登录1.生成公钥和私钥[spark@localhost opt]$ ssh-keygen -t rsa需要按四次回车键2.将公钥拷贝通过命令拷贝到要免密登录的目标机器上[spark@localhost opt]$ ssh-copy-id spark202需要输入一次密码3.测试..

2021-11-07 19:37:45 299

原创 Centos7——hostname和hosts

修改hostname1.查看主机名2.修改主机名[spark@localhost ~]$ sudo vim /etc/hostname打开之后的内容是：localhost.localdomain删掉spark2023.保存退出,并执行命令使生效[spark@localhost ~]$ sudo hostname $(cat /etc/hostname)注意：修改/etc/hostname文件，需将第一行注释删除，在修改文件时，为了保留修改之前的某个值，经常会

2021-11-07 19:23:19 2467

原创 spark 不在 sudoers 文件中。此事将被报告。

1.切换到root用户su root2.修改/etc/sudoersvim /etc/sudoers在 root ALL=(ALL) ALL追加spark ALL=(ALL) ALL3.保存关闭重试之前被拒绝的操作

2021-11-07 18:43:23 114

原创 Spark——集群搭建

这里搭建的集群只使用spark自身节点运行的集群模式——独立部署（Standalone）模式。1.上传并解压文件（1）上传spark-3.0.0-bin-hadoop3.2.tgz文件到/opt/software目录下（2）解压spark-3.0.0-bin-hadoop3.2.tgz到 /opt/module/目录下tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/（3）进入/opt/module/目录下mv spar

2021-11-06 19:14:26 534

原创 Docker——使用Dockerfile制作java程序镜像

1.准备制作镜像需要的jar包和java镜像上传jar包到/home/docker目录下拉取java镜像：docker pull java:82.在jar包同级目录下创建Dockerfile文件Dockerfile分为四部分:基础镜像信息、维护者信息、镜像操作指令和容器启动时执行指令#依赖的父镜像FROM java:8#作者MAINTAINER tt#jar包添加到镜像中ADD demo-0.0.1-SNAPSHOT.jar demo.jar#容器暴...

2021-11-05 16:56:40 2060

原创 Docker——常用参数整理

1.docker启动容器相关参数docker run [OPTIONS] IMAGE [COMMAND] [ARG...]docker run [option] 镜像名 [向启动容器中传入的命令]-i 表示以“交互模式”运行容器-t 表示容器启动后会进入其命令行。加入这两个参数后，容器创建就能登录进去。即分配一个伪终端。--name 为创建的容器命名-v 表示目录映射关系(前者是宿主机目录，后者是映射到宿主机上的目录，即宿主机目录:容器中目录)，可以使用多个-v 做多个目录

2021-11-04 15:37:03 800

原创 Docker-查看镜像仓库中镜像的版本信息

通过docker安装某个软件时，经常需要选择版本号否则默认安装lastest，docker search只能查询出docker仓库中是否存在该软件的镜像并不能查看到版本号，如果想要查看某docker镜像的全部版本，就需要用到以下方式docker_img为镜像名curl https://registry.hub.docker.com/v1/repositories/${docker_img}/tags | python3 -m json.tool | more需要在机器上安装python3（参考D..

2021-11-04 09:25:34 3928

空空如也

空空如也