programmer_trip-CSDN博客

需求描述统计某一年中周一至周日分别有多少天with date_list as( select date_add("2020-01-01", a.pos) as dates from (select posexplode(split(repeat("m", datediff("2020-12-31", "2020-01-01")), "m"))) a)select datesfrom date_list ;----2020-01-012020-01-022020-0

2022-04-21 21:54:44 476

原创 shell脚本编程实战

shell基础语法1 变量替换语法说明${变量名#匹配规则}从变量开头进行匹配，将符合最短的数据删除${变量名##匹配规则}从变量开头进行匹配，将符合最长的数据删除${变量名%匹配规则}从变量尾部进行规则匹配，将符合最短的数据删除${变量名%%匹配规则}从变量尾部进行规则匹配，将符合最长的数据删除${变量名/旧字符串/新字符串}变量内容符合旧字符串，则第一个旧字符串会被新字符串取代${变量名//旧字符串/新字符串}变量内容符合旧字符串，则全部

2022-04-09 15:19:20 795

原创 windows安装apache和php并完成配置和代码测试

一 apache的安装和配置首先下载apche的windows操作系统的安装包https://httpd.apache.org/点击前往windows安装包的下载页面继续前往下一步下载安装包解压到自己电脑上，注意路径上不要有空格或者中文，解压产生了一个Apache24文件夹和一个html文件配置httpd.conf配置文件，找到conf目录下的httpd.conf,找到其中的Define SRVROOT，将双引号中的路径修改为刚才自己安装的apache的绝对路径原来的路径修改后

2022-03-18 23:27:10 1809 4

原创申请ssl证书并绑定指定域名实现全站https访问

首先申请ssl证书，这里使用的是阿里云的,1 搜索ssl,点击ssl证书(应用安全)2 点击立即购买3 选择更多售卖规格4 选择DV单域名证书（一个自然年可以免费申请20个单域名ssl证书）5 点击购买6 登录管理控制台7 找到 SSL - 免费证书 – 创建证书8 点击申请证书9 填写绑定域名的基本信息10 根据要求配置 DNS域名解析，最后进行验证11 配置域名解析12 点击验证并提交审核13 点击下载证书14 选择相应服务的证书，这里选择下载ap

2022-02-28 00:00:16 4422

原创使用poi工具将sql查询结果写入excel文件(报表的导出数据功能)

这里以查询mysql数据并导出为excel为例子关于创建数据库及表数据导入这里没讲，可以自行创建和插入测试数据这里用到的数据库是poimysql表为test1 首先创建一个maven项目 demo_poi2 pom.xml中引入mysql连接的驱动包，以及poi需要使用的jar包<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-jav

2022-02-09 09:00:00 496

原创 frp内网穿透并实现开机自启动

本文中使用到的端口记得在阿里云服务器的安全组中开放该端口在公网服务器(阿里云服务器)上执行下面的命令，安装frpwget https://github.com/fatedier/frp/releases/download/v0.38.0/frp_0.38.0_linux_arm64.tar.gz-- 解压到/usr/localcd /usr/localtar -zxvf frp_0.38.0_linux_amd64.tar.gz-- 开始编辑frps.inivi frps.ini====&g

2022-01-29 20:51:17 3818

原创 hive性能调优

小文件过多的问题：小文件过多会会导致占用过多的内存资源，因为namenode在内存中维护文件系统树和最新的元数据信息，每个小文件都会占用150字节的内存，会影响查询效率导致小文件过多的原因：使用动态分区，会产生很多零碎的小文件，插入分区表时最好指定分区字段的值； reduce过多会产生很多小文件，设置合理的reduce数减少小文件数量的措施：1 源头解决：在日增数据中，可以通过设置写入数据的参数，设置map端，reduce端输出时进行文件合并，设置一个输出文件大小均值

2021-07-26 15:29:52 419

原创原来frp内网穿透这么搞-学习了

目前买了树莓派，安装了centos7系统，现在想让外网的电脑能ssh同时也可以域名访问内网的项目，这个时候就需要实现内网穿透，看了很多工具，尝试了一下frp的方式，成功实现内网穿透，特此记录首先得有一个具有公网ip的服务器，这里我之前已经买了阿里云的服务器，一年80多因为我内网服务器(树莓派服务器)和阿里云服务器装的都是centos7系统，因此整体环境为Linux系统，这里内网服务器作为客户端，阿里云服务器最为服务端下载frp压缩包frp历史版本地址在这里插入图片描述...

2021-07-18 22:29:00 418 4

原创 clickhouse直连mysql

遇到了一个这样的需求，报表上展示超时的订单信息部门，统计日期，超时订单编号，订单计划开始/结束时间订单实际开始/结束时间这里需要让业务方当其认为这条记录不是真的超时时，为这条记录打上一个不纳入统计的标签，如果业务方选择了隐藏，那么这部分打上标签的数据就不会纳入统计，如果没有点隐藏按钮就不会受影响，打标签前怎么统计就怎么统计。目前的解决方案是：前端在页面交互时通过业务方输入的内容将带标签信息写入mysql表，使用clickhouse直连mysql提供接口查询服务。如果有更好的设计方案也欢迎交流???

2021-07-01 00:18:01 1181

原创树莓派配置静态ip

通过ifconfig -a 可以查看所有的网卡信息[root@localhost ~]# ifconfig -aeth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> inet 192.168.xxx.xxx netmask 255.255.255.0 broadcast 192.168.xxx.255lo: flags=73<UP,LOOPBACK,RUNNING> inet 127.0.

2021-06-30 00:18:31 523

原创树莓派重装centos系统(64位)

前期物资准备硬件①一张SD卡(博主使用的是200GB的)，一个读卡器软件①SDFormat系统工具(用于格式化SD卡)SDFormat 提取码：gmyf②win32disk (用于系统烧录到SD卡中)win32disk 提取码：w980③centos镜像 CentOS-Userland-7-aarch64-RaspberryPI-Minimal-4-2009-sda.raw提取码：sz22④Advanced IP Scanner （用于扫描获取树莓派的ip地址）Advanced_I

2021-06-14 23:40:28 1693

原创获取树莓派ip的方法(亲测有效)

寻找树莓派ip方法：我选择的是通过ipscanner软件扫描获得树莓派的ip①首先树莓派与路由器/电脑通过宽带线连接②打开window+R在窗口中输入control,进入控制面板\网络和 Internet\网络和共享中心，在连接的wifi上右键设置属性-WLAN属性-共享②打开cmd，输入ipconfig /all,获取树莓派连接的wifi所在的网段，比如是168.192.10③打开Advanced IP Scanner④点击ip按钮，选择所在网段，我们只需要扫描168.192.10.1-2

2021-06-14 00:15:58 7851 7

原创 navicate远程连接宝塔面板mysql数据库

宝塔面板装在阿里云服务器上，需要远程连接宝塔面板的mysql，必须开启阿里云安全组的配置规则中开放3306端口，同时注意再宝塔面板的安全-防火墙中也要开放306端口，另外需要设置所有主机或者指定主机能够访问该数据库，最后刷新下权限，应该就可以连上了GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'xxxxx' WITH GRANT OPTION;flush privileges;====>血的教训啊，弄了好久才发现原来宝塔

2021-06-01 00:50:07 308

原创通过脚本中启动presto的方式备份hive表

第一次做的时候需要手工执行多次create table if not exists origin_tableName_bak asselect * from origin_tableName;后来就想着能不能使用shell脚本的方式只要传入需要备份的表就可以自动备份，并打印我们关注的信息：备份是否成功以及备份前后的数据条数for par in $@;do echo $par#./presto.jar --server szzb-bg-prd-etl-13:9000 --catalog hi

2021-05-26 09:32:51 283

原创 xshell7个人版安装包

xshell7个人版安装包下载地址，密码：dvpv

2021-05-22 13:25:42 3696 5

原创每天学点clickhouse

启动clickhouse-- 启动clickhouse服务端clickhouse-server start -- 启动clickhouse客户端clickhouse-client -- 这里启动客户端时如果后面+ -m 表示可以输入多行的命令，否则输入多行会报错ClickHouse client version 21.4.6.55 (official build).Connecting to localhost:9000 as user default.Connected t

2021-05-21 20:26:38 995 4

转载戴尔笔记本电脑耳机插入声音外放问题

戴尔笔记本电脑耳机插入声音外放问题链接①进入program files——Realtek——audio——HDA②双击打开RtkNGUI64这个应用程序③打开Dell Audio后，我们点击高级——插孔信息，勾选当插入设备时，自动④开启弹出对话框⑤然后我们勾选自己对应插入的设备，点击确定即可...

2021-05-20 19:35:38 1874

原创 hive分区表新增字段并且新增字段的数据要写入当前和历史分区三种方法

由于之前的工作中就算是分区表中插入字段，也是只对当前数据负责，不需要管历史数据，所以没考虑过如果加字段之后，对历史分区如何插入数据的问题，直到一次面试，面试官问了这个问题，我决定用博客的形式记录下来，下面是加字段加不加cascade关键字的区别-- 内容准备test_partition.txt -- 历史分区没有新增字段1 zhangsan 1000 202101012 lisi 500 202101013 wangwu 6000 202101014 zhaoliu 4600 20210101

2021-05-09 17:00:23 2884 3

原创 hivesql面试题-两个List转多行并一一匹配(posexplode函数)

题目：假设现有一张Hive表，数据格式为：col1col2a,b,c1:00,2:00,3:00d,e,f4:00,5:00,6:00……表中两个字段均为String类型，现在需要将行数据拆分转为多列如下col1col2a1:00b2:00c3:00d4:00e5:00……该如何实现解决方法：select split(col1,",")[idx] as col1 ,type as

2021-04-21 09:55:52 1171

原创 mysql学习笔记-索引2

----------------------------------索引-----------------------------------mysql官方对索引的定义：索引(Index)是帮助mysql高效获取数据的数据结构===>索引的本质：索引是数据结构索引是排好序的快速查找数据结构一般索引本身也很大，不可能全部存储在内存中，因此索引往往以索引文件的形式存储在磁盘上平时所说的索引，如果没有特别指明，都是指B树(多路搜索树，并不一定是二叉的)结构组织的索引，其中聚集索引，次要索引，覆盖

2021-04-16 16:38:58 97

原创 mysql学习笔记-索引1

索引失效(应尽量避免)1 全值匹配我最爱2 最佳左前缀法则(如果索引了多列，要遵守最左前缀法则，查询从索引的最左侧列开始并且不跳过索引中的列，,比如建的索引为ABC，使用的时候AC,那么C用不到索引查询)3 不再索引列上做任务操作(计算，函数，(自动 or 手动)类型转换)，会导致索引失效而转向全表扫描4 存储引擎不能使用索引中范围条件右边的列5 尽量使用覆盖索引(只访问索引的查询(索引列和查询列一致)),减少select*6 mysql在使用不等于(!= 或 <>)时无法使用索引

2021-04-16 16:37:19 71

原创 cmd登录oracle用户报错--ORA-12560: TNS: 协议适配器错误

报错场景在cmd中输入-- 尝试在cmd中登录oracle的用户，但是报错sqlplus scott/tigerERROR:ORA-12560: TNS: 协议适配器错误解决方法-- 发现是没有正确登录sqlplus，连接数据库的时候需要指定数据库的实例名-- 我们看一下服务中的oralceserverxxx中的xxx是什么，比如是orcl，那么cmd连接oracle数据库命令可以下面这样写sqlplus scott/tiger@orcl 回车==> C:\Users\A

2021-04-12 20:51:27 956

原创截图工具Snipaste

截图工具SnipasteSnipaste官网下载地址，欢迎自取Snipaste百度网盘下载地址，密码gnqkSnipaste官方使用文档看到csdn很多都是要会员才能下载，所以直接从官网下载下来，或者提供下载地址，希望能为正在寻觅Snipaste下载地址的小伙伴带去一些便利。...

2021-04-10 17:47:37 377 2

原创 HTTP协议以及登录案例(学习笔记)

HTTP:概念：Hyper Text Transfer protocol 超文本传输协议传输协议：定义了客户端和服务器端通信时，发送数据的格式特点：①基于TCP/IP的高级协议：是安全的，TCP三次握手和四次挥手②默认端口号：80③基于请求/相应模型的:一次请求对应一次相应④无状态的：每次请求之间相互独立，不能交互数据历史版本：①1.0：每发送一次请求都会建立新的连接② 1.1：复用连接，每次发送请求后会等一段时间，在这段时间内再次发送请求，就会复用刚才建立的连接，否则就会关闭连接

2021-03-29 00:53:15 1616

原创 Servlet学习笔记

servlet:server applet概念：运行在服务器端的小程序(tomcat识别)的规则。将来我们自定义一个类，实现servlet接口，复写方法Servlet快速入门①创建javaEE项目②定义一个类，实现servlet接口③实现接口中的抽象方法④配置servlet...

2021-03-26 23:45:09 81

原创部署tomcat项目的三种方式

部署tomcat项目的三种方式①直接将项目拖到webapps目录下即可或者使用专门的打war包的工具，将项目的所有文件打成一个war包(会进行压缩)，然后将war包拖入webapps目录下，会自动解压，删除这个项目的话，直接删除war包，过一会会自动将解压后的文件删除缺点：需要复制文件到指定目录下②配置conf\server.xml文件在<Host></Host>标签体中任意位置添加如下配置 <Context docBase="D:\hello" path="

2021-03-24 13:37:10 120

原创 oracle数据库学习②

数据库安全性①系统安全性②数据安全性系统权限：对于数据库的权限对象权限：操作数据库对象的权限创建用户create user userName identified by password;赋予用户权限grant privilegeName to user;只有具有create session权限，用户才能登录数据库grant create session to userName;创建用户表空间：用户拥有create table权限后，还需要分配相应的表空间才可开辟存储空间用于创建

2021-03-13 12:36:32 78

原创 oracle数据库学习①

概念oracle数据库体系组成①oracle数据库一个相关的操作系统文件(即存储在计算机硬盘上的文件)的集合，这些文件组织在一起，成为一个逻辑整体，即为oracle数据库oracle用它来存储和管理相关的信息，oracle数据库必须与内存里实例结合，才能对外提供数据管理服务②oracle实例位于物理内存里的数据结构，由操作系统的多个后台进程和一个共享的内存池所组成，共享的内存池可以被所有进程访问1 oracle用它们来管理数据库访问：用户如果要存取数据库(硬盘的文件)里的数据，必须通过or

2021-03-12 00:30:41 414

原创 flink运行job任务时报错 Could not retrieve the execution result

flink运行job任务时报错org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result. (JobID: ed150cf006f7e66ebe74c75f72431463) at org.apache.flink.client.program.rest.RestClusterClient.submitJob(RestClusterClient.jav

2020-10-13 15:25:01 5252

原创 idea运行程序时提示` Command line is too long. Shorten command line forXXX`

运行idea提示信息Error running 'XXX': Command line is too long. Shorten command line for XXX or also for Application default configuration.解决办法

2020-10-09 20:53:34 868 2

原创 spark读取hive表抛出org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

当spark读取hive表时,抛出下面的异常org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.ql.metadata.Hive.getAllDatabases(Hive.java:1

2020-09-22 19:40:35 2379 2

空空如也

空空如也