天涯问路-CSDN博客

原创 flask 的 jsonify 自动排序问题

背景·Python 在写接口的时候有时需要返回 json 格式的数据给客户端·最简单的方式就是用 flask 的 jsonify，能直接将字典格式化为 json 的形式进行传输例如from flask import jsonify.........def return_success(data): """返回成功信息""" return jsonify(data)通过以上 jsonify 的方式大部分需求是能够搞定的问题引发但是有时候我们要传递的 json 格式可能

2021-12-07 16:09:54 2340 2

原创 Python基础

一、浮点类型存储不精确性使用浮点数进行计算时，可能会出现小数位数不确定的情况例如：print(1.1 + 2.2)输出：3.3000000000000003解决方案：导入模块 decimalfrom decimal import Decimalprint(Decimal('1.1')+Decimal('2.2'))输出：3.3二、bool 类型会自动转换成 0 或 10 为 False，1 为 True。例如：# 这样写并不会报错print(True + 1.1) # 2.

2021-11-08 19:51:35 1033

原创 Python运算符

一、算数运算符1.整除：一正一负，向下取整print('整除 11//-3=', 11 // -3)输出：整除：11//-3= -42.取余，即模运算。一正一负公式：余数 = 被除数 - 除数*商(整除的商，向下取整)print('取模 9%-4=', 9 % -4)输出： -3# 计算方式：-3 = 9 - (-4)*(9//-4) = 9- (-4)*(-3) = 9 - 12 = -3print('取模 -11%3=', -11 % 3)输出：1#计算方式：1 = -11

2021-11-08 18:09:18 993

原创 Hadoop格式化失败，无法启动Namenode，报错：dfs.namenode.format.enable false

Hadoop 格式化的时候报错：dfs.namenode.format.enable false。此时启动集群会发现 Namenode 无法启动，其实就是 Namenode 格式化失败了。原因：很有可能是你们公司在编译 hadoop 的时候故意把格式化功能注释掉了。解决办法：在 hdfs-site.xml 添加一个配置<property> <name>dfs.namenode.format.enable</name> <value&

2021-08-02 15:58:17 3062

原创 Idea maven 项目 pom 文件相关问题

pom 引入依赖注意事项：依赖的版本，最好等于集群安装的版本，低于也可，但最好不要高于集群版本，否则可能引起异常；项目的依赖包必须写在 pom 文件下，否则打包的时候可能会引起依赖找不到的异常； pom 的 build 要配置 compile 打包，否则打的包里没有代码的类； src 目录下，最好有 java 的资源文件夹，空的也行，否则打包时可能会报 No such compile 异常；框架之间各版本的兼容性问题，例如：scala 是 2.11 版本，要对应kafka 的 flink-c

2021-06-15 18:01:25 401

原创 Flink Bug集锦

1.The program's entry point class 'xxx' was not found in the jar file.打包问题：https://blog.csdn.net/S_Alics/article/details/117929680另外要注意，如果代码用到了其他依赖，则需使用带有依赖的包，就是那个又大又长的 .jar2.org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException:

2021-06-15 17:52:27 2786 1

原创 java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product；)V

报错原因是：集群 scala 版本和项目的不匹配，需降低项目的 scala 版本，并且，如果引用了其他依赖包，也要进行相应的版本降低，而且各框架之间要兼容。例如：scala是2.11版本，要对应flink-connector-kafka_2.11，如果flink-connector-kafka_2.12，也会报这个错。...

2021-06-15 17:46:28 2879

原创 NoResourceAvailableException: Could not allocate all requires slots within timeout of 300000 ms...

完整的报错信息：org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not allocate all requires slots within timeout of 300000 ms. Slots required: 3, slots allocated: 1, previous allocation...没有资源可用，原因就是：项目设置的并行度大于集群的 slot 个数，导致抢夺资源

2021-06-15 17:44:22 4090

原创 idea 的 maven 项目报错：The program‘s entry point class ‘xxx‘ was not found in the jar file.

错误提示在 jar 包内找不到 xxx.class 文件，可能的原因是：pom 的 build 配置有问题。pom 的 build 配置应该有 compile 打包配置，如下： <build> <plugins>  <plugin> <groupId>net.alch

2021-06-15 17:40:57 4396

原创 Idea 精准到类的打包方式：Artifacts 打包

这种打包方式更精确，可以直接精确到具体类，这种情况下打的包，上传到 Flink web 时，不需要手动写入 class 文件名，它会自动填入，如果没有自动填入，或许是你的 Flink 版本太低了，我的是 flink1.9.1 版本。打包配置：1.File——>Project Structure...2.Artifacts——>+——>JAR——>From modules with dependencies...3.Artifacts——&gt...

2021-06-15 17:29:40 2605

原创 scala 遍历 java 的 util.Map

Flink 从 Kafka 获取数据进行处理，本来运行的好好的，突然报错：Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy具体错误日志如下：Exception in thread "main" org.apache.flink.runtime.client.JobExecutionException: Job execution faile

2021-06-15 17:18:35 2325 1

原创 No ExecutorFactory found to execute the application.

Flink 项目运行出现No ExecutorFactory found to execute the application.错误。错误的定位是在 env.execute() 这行代码上。错误的原因是：从 flink1.11.0版本开始，需要多引入一个 flink-client 包<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-client..

2021-06-07 13:45:00 5669

原创 log4j.properties

# 输出到控制台log4j.rootLogger=WARN,CONSOLE,logfilelog4j.appender.CONSOLE=org.apache.log4j.ConsoleAppenderlog4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayoutlog4j.appender.CONSOLE.layout.ConversionPattern=[frame] %d{yyyy-MM-dd HH:mm:ss,SSS} - %-

2021-03-03 16:17:18 117 1

原创 Flink CEP笔记

一、什么是 CEPCEP 是 Complex Event Processing 的缩写，意为"复杂事件处理"； Flink CEP 是 Flink 中实现的复杂事件处理库； CEP 允许在无休止的事件流中检测事件模式，让我们有机会掌握数据中的重要部分；一个或多个由简单事件构成的事件流通过一定的匹配规则，然后输出用户想要得到的数据；二、量词 Quantifierstart.times(6)：匹配出现 6 次； start.times(6).optional：匹配出现 0 次或 6 .

2021-01-12 13:31:26 247

原创集群所有采集通道启动/停止脚本

一、启动 / 停止项及顺序及链接启动：hadoop 集群：hdfs 和 yarn zookeeper 集群：zk.sh flume 采集集群：flume1.sh kafka 集群：kfk.sh flume 消费集群：flume2.sh停止：启动的反顺序：5、4、3、2、1二、脚本内容#!/bin/bashcase $1 in"start"){ echo " -------- 启动 hadoop 集群 -------" /opt/module/hadoop

2020-09-15 09:48:54 209

原创 Flume 内存优化之 OutOfMemoryError: GC overhead limit exceeded

1.问题描述：启动消费Flume抛出如下异常ERROR hdfs.HDFSEventSink: process failedjava.lang.OutOfMemoryError: GC overhead limit exceeded2.解决方案步骤：（1）在hadoop102 服务器的 /opt/module/flume/conf/flume-env.sh 文件中增加如下配置export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management

2020-09-15 09:25:36 721

原创 Kafka 集群启动停止脚本---消灭黄叹号

1.在~/bin 目录下创建脚本 kfk.sh#! /bin/bashcase $1 in"start"){ for i in hadoop102 hadoop103 hadoop104 do echo " --------启动 $i Kafka-------" ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/modul

2020-09-14 14:39:33 205

原创日志采集、消费 Flume 启动停止脚本

1.在 ~/bin目录下创建脚本：vim /bin/flume.sh#! /bin/bashcase $1 in"start"){ for i in hadoop102 hadoop103 do echo " --------启动 $i 采集flume-------" ssh $i "nohup /opt/module/flume/bin/flume-ng agent --conf-file /opt

2020-09-14 14:19:26 623

原创 Idea 项目关联 Scala

一、问题描述 Idea 想要开发 Scala 项目必须要安装 Scala 插件，但是新建的项目，虽然 Scala 插件，但发现右键创建代码的时候，根本没有 scala 相关的项，还需要跟 Scala 做一个关联二、关联步骤1.右键项目，选择：2.找到 Scala ，选中，OK3.再次 New ，就有 Scala 了...

2020-09-14 10:33:49 326

原创集群时间同步修改脚本

说明：此脚本仅用于日常做测试时使用1.在 ~/bin/ 目录下创建脚本 dt.sh#!/bin/bashfor i in hadoop102 hadoop103 hadoop104do echo "========== $i ==========" ssh -t $i "sudo date -s $1"done2.修改权限：chmod 777 /bin/dt.sh3.修改所有者：chown lpy:lpy /bin/dt.sh4.使用示例：dt.

2020-09-12 15:49:35 210

原创集群日志生成启动脚本

1.脚本内容 lg.sh#!/bin/bashfor i in hadoop102 hadoop103 do ssh $i "java -classpath /opt/module/log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar com.atguigu.appclient.AppMain $1 $2 >/dev/null 2>&1 &" done2.修改权限：chmod 777 lg.sh3.说

2020-09-12 15:12:48 339

原创 Linux 系统黑洞 /dev/null

一、什么是 Linux 系统黑洞？ /dev/null 代表 Linux 的空设备文件，所有往这个文件里面写入的内容都会丢失，俗称“黑洞”。二、Linux 的输入输出Linux 定义了一个标准输入和两个输出：标准输入0：从键盘获得输入 /proc/self/fd/0 标准输出1：输出到屏幕（即控制台） /proc/self/fd/1 错误输出2：输出到屏幕（即控制台） /proc/self/fd/2三、"黑洞"的使用有时候生成的日志文件没有利用价值，就可以全部丢...

2020-09-11 17:13:45 1138

原创 Zookeeper 群起群停脚本

由于zookeeper 没有自带的群起群停脚本，我们只能手动一个节点一个节点的去启动，但是如果集群数量太多的话，假如有100台，一个个手动去启动，要累死。所以还是要写个群起脚本在/bin/ 目录下新建 zk.sh ，内容如下：#!/bin/bashfor i in hadoop101 hadoop102 hadoop103dossh 'hadoop'$i "/opt/module/zookeeper-3.4.10/bin/zkServer.sh $1"done...

2020-09-11 16:35:05 304

原创 Linux 环境变量及注意事项

一、登陆式 Shell 和非登陆式 Shell首先要了解，什么是登陆式 Shell 和非登陆式 Shell登陆式 Shell：采用用户名密码登陆，例如：在 Hadoop102 上用 lpy 用户登陆非登录式 Shell：采用 ssh 登陆，例如：在 hadoop102 上输入命令：ssh hadoop103 登陆 hadoop103二、Linux 环境变量 /etc/profile 文件：用来设置系统环境参数，比如 $PATH. 这里面的环境变量是对系统内所有用户生效。...

2020-09-11 15:54:26 198

原创查看所有集群节点运行情况脚本 Jpsall

#!/bin/bashfor i in `cat /opt/module/hadoop-2.7.2/etc/hadoop/slaves`do echo "==========$i==========" ssh $i '/opt/module/jdk1.8.0_144/bin/jps'done把路径替换为当下真实环境的路径

2020-09-11 14:11:01 749

原创 Hadoop 参数调优及相关面试题

一、HDFS 参数调优 hdfs-site.xml NameNode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说，通常需要增大参数 dfs.namenode.handler.count 的默认值10。设置该值的一般原则是将其设置为集群大小的自然对数乘以20，即20logN，N为集群大小。dfs.namenode.handler.count=20 * log2(Cluster Size)，比如集群规模为8...

2020-09-11 14:06:45 253

原创 HDFS 存储多目录及注意事项

一、HDFS 为什么要配置多目录存储正常情况下，一台机器只有一块硬盘是不够的，会造成 HDFS 存储空间紧张，因此需要对 DataNode 进行磁盘扩展二、配置 HDFS 多目录存储1.首先要看一下机器上的磁盘使用情况注意，这里一共有 4 个目录可以提供存储空间，即：/、/hd3、/hd4、/hd22.在 hdfs-site.xml 文件中配置多目录，这里需要注意新挂载磁盘的访问权限问题<property> <name>dfs.datan.

2020-09-10 17:32:04 811

原创 Hadoop 为什么要做基准测试？

一、为什么要做基准测试有两个问题：将一个 1T 的数据上传到 hdfs 需要多久？将一个 10T 的数据从 hdfs 读取完毕需要多久？如果不做基准测试，这两个问题就没有答案，因为不知道。所以在搭建完集群后，一定要先做基准测试。二、如何做基准测试1.测试 HDFS 写性能：向 HDFS 写 10个 128M 的文件（看自己心情设置文件个数和大小）hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop.

2020-09-10 15:39:02 206

原创 LZO压缩配置及注意事项

一、由于 Hadoop 本身并不支持 LZO 压缩，所以需要使用 twitter 的 hadoop-lzo 开源组件。1.hadoop-lzo 需要依赖 hadoop 和 lzo 进行编译，编译步骤请参考： https://blog.csdn.net/S_Alics/article/details/1085134082.将编译好的 hadoop-lzo 的 jar 包放入 hadoop/share/hadoop/common（放在自己真实的路径的common文件夹下）3.配置 ...

2020-09-10 14:41:12 939

原创 Hadoop-LZO 编译步骤

一、环境准备maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像） gcc-c++ zlib-devel autoconf automake libtool 通过yum安装即可：yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool二、下载、安装并编译 LZO点击下载 LZO：http://www.oberhumer.com/opensource/lzo/...

2020-09-10 14:36:30 594 1

原创 Flink实时处理流数据控制台报错：JobExecutionException: Job execution failed.

具体报错信息：Exception in thread "main" org.apache.flink.runtime.client.JobExecutionException: Job execution failed..........Caused by: java.net.ConnectException: Connection refused: connect//报错代码env.execute("Flink Stream")出错原因操作顺序错误：先 run 的代.

2020-08-21 15:10:04 5723 3

原创 Hive 数据导入导出方式小结

一、数据导入1.最基本的导入方式：loadload data [ local ] inpath '/opt/module/datas/test.txt' [overwrite] into table student [partition (partcol1=val1,…)];local：从本地导入加上 local ，从 hdfs 导入不用加 overwrite：是否覆盖之前的数据 partition：导入指定分区栗子：a).加载本地文件到 hivehive (default..

2020-08-20 17:28:23 374

原创 Spark笔记汇总 — 未完结

一、RDDobject Test { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("Spark").setMaster("local[*]") val sc = new SparkContext(conf) val listRDD: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4, 5, 6, 6, 3), 3) //sc.

2020-08-20 16:21:35 185

原创 MySQL笔记小结

一、查询是否有旧版本CentOS6：rpm -qa | grep mysql。对应卸载命令：rpm -e --nodeps mysql-libs CentOS7：rpm -qa|grep mariadb。对应卸载命令：rpm -e --nodeps mariadb-libs 查看当前版本：mysqladmin --version二、检查 /tmp 权限是否是最大，若不是，则执行：ch...

2020-08-20 16:18:28 147

原创 YARN HA 配置请参考

一、文件配置yarn-site.xml（直接覆盖 configuration 内容）<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!--启用resourceman.

2020-08-19 17:02:56 339

原创请参考文件同步分发脚本 xsync

xsync:#!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if ((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname#3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1); pwd`echo pdir=$pdir#4 获取当前用户名称user=`whoami`#5 循环

2020-08-19 11:22:22 184

原创 Hadoop HA 详细配置及注意事项

一、文件配置(配置顺序并无先后)1.配置hadoop-env.sh打开hadoop.env.sh：vim hadoop/etc/hadoop/hadoop/env.sh 修改：export JAVA_HOME=/你的路径/jdk1.8.0_144，根据自己安装的jdk版本及路径配置2.配置core-site.xml。注意：第二项路径要改为自己的真实目录<configuration><!-- 把两个NameNode）的地址组装成一个集群mycluster --&gt..

2020-08-19 10:50:14 470

原创 Hadoop实战小知识点总结

一、配置网络ip如果是虚拟机，则需首先配置虚拟机的“虚拟网络配置”：VMWare——编辑——虚拟网络编辑器——修改ip、子网掩码——保存。修改主机名称：sudo(非root用户需要加上sudo) vim /etc/sysconfig/network，修改里面的hostname即可修改主机ip：sudo(非root用户) vim /etc/sysconfig/network-scripts/ifcfg=eth0，修改内容：ONBOOT=yes、BOOTPROTO=static、IPADDR=1.

2020-08-11 10:19:09 218

原创 Android面试题汇总2016

一.Activity和Service通信方式 1.Intent：startService(intent)，intent可携带参数，在onStartCommand方法里接收intent的时候获取这个参数(Intent要判空)； 2.interface：定义一个接口和一个获取参数的方法，在Service中需要传递数据的地方调用接口进行数据传递，在Acitivity里实现这个接口并覆...

2020-06-03 09:30:27 335

原创抛开源码谈双亲委派

public class Test { public static void main(String[] args) { System.out.println(Test.class.getClassLoader()); System.out.println(Test.class.getClassLoader().getParent()); System.out.println(Test.class.getClassLoader().getParen.

2020-05-15 12:16:09 169

微信支付相关文件

空空如也