- 博客(72)
- 收藏
- 关注
原创 Python将方法放置到线程池中,多线程执行;方法执行效率翻倍提升!
【代码】Python将方法放置到线程池中,多线程执行;方法执行效率翻倍提升!
2023-09-11 09:41:06
203
原创 python管理pymysql线程池 ---python连接mysql优化程序
在以上代码中,使用Queue实现了一个连接池,构造函数中初始化了池子中的MySQL连接,get_connection()方法从队列中取一个连接,并在需要时自动新建连接,调用release_connection()方法将连接归还到池子中。execute()方法用于执行SQL查询,并在执行完毕之后将连接返回到连接池中。Pool)来管理多个MySQL连接。对象池是一种常用的优化技术,它预先分配一定数量的资源(如MySQL连接),并将它们放到一个池子里面,等待程序需要时随时取出。可以使用对象池(Object。
2023-05-30 15:08:44
604
原创 python整合flaskapi框架跟uvicorn框架--用户登录注册功能(用JWT加密算法)复制即用
flaskapi框架跟uvicorn框架--用户登录注册功能(用JWT加密算法)
2023-05-16 15:51:15
497
原创 Spark(SparkStreaming)消费Kafka消息--使用mysql或redis维护消费索引(保证消费的数据不重复不丢失)
Spark(SparkStreaming)消费Kafka消息--使用mysql或redis维护消费索引(保证消费的数据不重复不丢失), '多主题,多分区'
2022-11-25 10:32:29
996
原创 Java实时监控Mysql的binLog--可指定监听某个库或者某张表
Java实时监控Mysql的binLog--可指定监听某个库或者某张表
2022-11-18 18:06:29
4277
11
原创 Python组件Flask在Linux后台运行命令 & Python消除字符串中的反斜杠
【代码】Python组件Flask在Linux后台运行命令 & Python消除字符串中的反斜杠。
2022-11-18 17:17:32
693
原创 kafka重启报错 |cloudera manager访问返回500 | HDFS启动出错
kafka重启报错 | Cloudera Manager 浏览器访问返回500 | hdfs 启动出问题1.Unable to retrieve non-local non-loopback IP address. Seeing address: cm/127.0.0.12.ERROR ScmActive-0:com.cloudera.server.cmf.components.ScmActive: ScmActive was not able to access CM identity to valid
2022-09-16 17:25:14
932
原创 springboot导入spring-boot-maven-plugin插件报错及打包项目到服务器上运行(手动导入加自动导入方法)-详细
springboot导入spring-boot-maven-plugin插件报错及打包项目到服务器上运行(手动导入加自动导入方法)-详细
2022-06-23 09:56:02
3277
原创 JAVA精确计算浮点数(double | float)相加--整个集合计算或两个浮点数进行计算
Java精确计算浮点数(double | float)
2022-06-14 13:55:26
1863
原创 linux上nginx的安装流程---详细版
1.首先安装nginx启动需要的环境yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel2.下载nginx的安装包进入到/usr/local的目录下wget http://nginx.org/download/nginx-1.13.7.tar.gz//如果没有wget的命令 执行命令 yum -y install wget 安装好wget命令之后在执行下载nginx安装包的命令3.解压安装包tar -zxv
2022-05-31 16:18:27
306
原创 JAVA使用多线程操作集合中的数据(不会重复调用集合中的数据哦)--详解
当你想使用JAVA的多线程对一个集合进行处理的时候,我们可以将一个集合分成Thread份数据,每份数据交给一个线程执行import java.util.ArrayList;import java.util.List;import java.util.concurrent.*;public class TestApp { private static final String model = TestApp.class.getName(); public static voi
2022-05-07 17:18:11
3831
7
原创 python、JAVA监控oozie任务执行,并报警到钉钉
python监控oozie组件的任务失败,任务未执行,并报警到钉钉import pymysqlimport sysimport osimport requestsimport hmacimport hashlibimport base64import urllib.parseimport timeimport datetimeimport loggingFORMAT = "%(message)s"DATEFMT = "%Y-%m-%d %H:%M:%S"FILE_FORMAT
2022-04-30 00:00:00
505
原创 python的emojize显示不了,还是打印代码的问题解决
emojize官网地址:https://emojipedia.org/search/?q=heartpython导入emojize:pip install emojize从官网获取到这个表情包的快捷代码为wrapped gift (礼盒表情包),当我们将这个快捷代码带入代码中在python导入表情包时print("{0}emojize表情包{1}".format(emojize(':wrapped gift:'),emojize(':wrapped gift:')))打印出wrapped g
2022-04-25 17:58:05
1078
原创 python发送post请求报编码错误
在python中,发送post请求报错UnicodeEncodeError: 'latin-1' codec can't encode characters in position 264-267: Body ('❤️午安') is not valid Latin-1. Use body.encode('utf-8') if you want to send it encoded in UTF-8.错误一: 可能是你的数据格式不对,如果是json格式的参数,那么dumps之后会变成unicode编码,
2022-03-29 17:26:21
3189
原创 Kafka报错连接超时:Timed out waiting for connection while in state: CONNECTING
报错连接zookeeper超时swhua@swhua:~/Desktop/kafka_2.13-2.7.0$ bin/kafka-topics.sh --create --zookeeper localhost:9092 --replication-factor 1 --partitions 1 --topic matchresult --config cleanup.policy=compact[2021-05-09 16:56:39,279] WARN Client session timed o
2022-03-24 16:36:28
11094
原创 maven打包jar包及程序的插件及命令
maven打包jar及程序的插件 <build> <sourceDirectory>src/main/java</sourceDirectory> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId
2022-02-23 10:08:44
328
原创 java发送多种参数格式(例如 : form-data/xml/json)的post请求(包括依赖jar包)复制粘贴即用
java发送多种参数格式(例如 : form-data/xml/json)的post请求(包括依赖jar包)复制粘贴即用
2022-02-22 14:04:59
2044
原创 java发送get请求,并带上参数,HTTP和HTTPS都可以
//java发送get请求,并带上参数 public static String send_Get(String encode_data){ CloseableHttpClient httpClient = HttpClients.createDefault(); URIBuilder uriBuilder = null; String data = ""; try { uriBuilder = new URIBuilder
2022-01-22 12:02:47
9276
原创 java日期格式转换
public class LoopRead { public static void main(String[] args) { loopRead(); } public static void loopRead(){ long timeMillis = System.currentTimeMillis(); SimpleDateFormat dateFormat = new SimpleDateFormat("yyyyMMdd");
2022-01-12 10:43:59
437
原创 向HDFS上的hive中load本地文件
public static void loadData2Hive(String dst,String dateString) { String JDBC_DRIVER = "org.apache.hive.jdbc.HiveDriver"; String CONNECTION_URL = "jdbc:hive2://xx.xx.xx.xx:10000"; String username = ""; String password = "";
2022-01-07 10:39:01
1527
原创 在linux上运行java的jar包的脚本编写
在linux上运行java的jar包的脚本编写#! /bin/bashJAVA_HOME=/usr/java/jdk1.8.0_181java -cp /decode_base64-jar-with-dependencies.jar com.xxx.Demo01直接替换你的jar包名,你要运行的类jar包名最好是绝对路径,不然不熟悉容易出错...
2022-01-06 15:11:50
690
原创 spark报错
如果报错Exception in thread "main" org.apache.spark.SparkException: Job aborted.如果你整合了hadoop等类似的集群或者单机节点,那就是里面有一个节点宕机了,导致你的executor跑不起来,他报的错误也是job跑不起来Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputS
2021-11-17 20:15:29
1858
原创 spark落地hive报错Incompatible Jackson version: 2.7.3
导入依赖,在项目的pom.xml文件下导入 <dependency> <groupId>com.fasterxml.jackson.module</groupId> <artifactId>jackson-module-scala_2.11</artifactId> <version>2.7.3</version> </depe
2021-11-17 19:46:03
1178
1
原创 nginx报错
执行openresty启动报错,重启报错nginx: [error] invalid PID number "" in "/usr/local/openresty/nginx/logs/nginx.pid"执行openresty的时候关闭stop报错nginx: [error] open() "/usr/local/openresty/nginx/logs/nginx.pid" failed (2: No such file or directory)通过ps -ef | grep nginx
2021-11-08 19:53:32
268
原创 执行scala报错: Token not found
执行scala程序报错scalac: Token not found: C:\Users\bobo\AppData\Local\JetBrains\IntelliJIdea2021.2\compile-server\tokens\32001.找到idea里面的setting的plugins中的scala插件2.卸载这个插件,也就是uninstall,然后重启idea3.在重新安装一下scala插件,重启 之后就不会报错了...
2021-11-07 14:40:53
8504
4
原创 解决spark的数据倾斜以及优化
spark的参数调优 1.shuffle调优参数 --spark.reducer.maxSizeInFlight 在shuffle-read时缓冲区的大小可以适当的加大一点,默认是48M,可以调为96M spark.shuffle.compress 是否支持压缩,默认是支持压缩的,将该值保持为true spark.shuffle.file.buffer 在shuffle-write阶段buffer的大小,默认是32kb,可以调为48kb,或者64kb spark.shuffle.io.ma
2021-10-28 19:55:27
672
原创 spark-shuffle阶段详细描述
spark的shuffle流程1.shuffle发生在宽依赖算子划分阶段的时候,但是宽依赖算子不一定发生shuffle2.shuffle分为两个阶段,一个是shuffle-write,另一个是shuffle-read3.在shuffle-执行write时,我们要可以选择一个分区器,比如有hashpartition、rangepartition,还有用户自定义的分区器4.在write时,还会生成一个write对象 -- unsafeshufflewrite对象 -- bypassMergesh
2021-10-28 19:31:21
665
原创 sqoop的全量导入和增量导入区别与应用
sqoop框架的全量导入和增量导入全量导入: 这就是将一张表的数据全部一次性导入到某一个文件夹下面,这种做法是一次性的,也就是说这个表之后不会做更新操作,否则更适合增量导入增量导入 第一次通常都是全部把数据导入到一个文件中,增量导入是指维护一个不会重复的key,以这个key为分界点,当表数据更新,就将更新的行再一次的导入到文件中,这样就可以实现数据库的更新从而引起文件的更新(注意:这里的引起是要手动操作的,或者通过定时器实现,或者shell脚本与azkaban这些调度工具实现)创建增量导入的j
2021-10-23 09:16:07
1791
原创 spark查看源码
如果用idea整合spark之后,想查看spark的有格式的源码,可以在项目的根目录的terminal中输入mvn dependency:resolve -Dclassifier=sources然后回车,在你要查看的地方 ctrl+鼠标左键就能查看有格式的源码了
2021-10-21 18:39:49
606
原创 hbase全重点面试题笔记
hbase的体系结构 client: 提供了访问hbase的各种接口 维护了一个缓存,缓存最近的访问记录,用来加快访问hbase zookeeper: 监控hMaster,保证有一个活跃的节点来管理整个集群 实时监控HregionServer的状态,并将其通知给HMaster 存储hbase的元数据信息,比如meta,meta-region-server表 HMaster 负责对region的切分,分配 负责regionServer的负载均衡 负责客户端的schema
2021-10-20 21:38:17
147
原创 spark-yarn提交流程
spark的yarn-client提交流程1. 在client端启动Driver进程,初始化作业,解析程序,初始化两个DAGScheduler,TaskScheduler. -- 初始化作业: 判断路径是否存在,权限校验等 -- DAGScheduler将程序的执行流程解析成DAG图,并划分阶段,根据阶段内的分区初始化Task -- TaskScheduler接收Task,等待分配Task给executor2. Driver会向ResourceManager,申请资源,想要启
2021-10-20 20:45:12
790
原创 spark篇之kv结构算子
spark中的算子调用:1.aggregateByKey算子def main(args : Array[String]):Unit={ val conf: SparkConf = new SparkConf().setMaster("local").setAppName("aggregateByKey") val sc: SparkContext = new SparkContext(conf) val rdd: RDD[(String, Int)] = sc.makeRDD(List(("
2021-10-20 20:41:15
224
原创 spark的yarn模式总结
spark的yarn模式下的client提交步骤1.在client启动driver进程,初始化作业,解析程序,初始化两个调度器DAGScheduler和TasksScheduler --初始化作业:用来判断路径是否正确,权限校验等 --DAGSchefuler会把程序解析成DAG有向无环图,在又宽算子依赖划分stage, 每个stage中又会划分tasks,在把task调度给TaskScheduler --TaskSchedular 把Tasks池中的task分配给executor来执行2.Dr
2021-10-16 11:31:00
393
原创 没事做之小笔记
1.hive的本地模式不是要数据库和hive服务器在同一台机器上,而是指hiveserver2和hive端在同一台机器上2.数据库修改密码操作 alter user root@localhost identified by '新密码' 注意:要先登录进mysql3.数据库改远程操控权限以及修改远程密码 grant all privileges on *.* to root@'%' identified by '新密码' 其中的*.*是任意库的任意表 root@'%'是匹配所有root权限的
2021-09-25 10:12:21
36
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人