- 博客(117)
- 资源 (18)
- 收藏
- 关注
原创 spark运行在windows环境的idea遇到的问题记录
关于在windows环境开发spark时,遇到的一些环境问题,作一下记录这次只了两点记录,如下:1、Couldn't find pwsh.exe or powershell.exe2、Could not locate executable null\bin\winutils.exe in the Hadoop binaries前提:由于机器使用已久,申请了一台新的笔记本 ,各种环境都需要重新安装,确实是头大啊,需要准备各种安装软件一、问题1的解决方案1、新本到手后,下载了新版
2022-01-26 11:35:12
1851
原创 StructuredStreaming处理时参数checkpointLocation配置
问题记录:在spark进行实时计算时,通过Kafka读取数据写到mysql中,由于本地测试环境提交任务可以正常执行,但是在生产环境总是报如下错误,提示文件找不到,但是查看又不是具体的配置文件或jar包类文件,一时摸不清头脑了,后来通过错误日志的 trace找到原因。原来生产环境是强制要求在写流时,添加参数checkpointLocation,最终问题得以解决错误信息:Showing 4096 bytes. Click here for full logamenode.dfs.test.ne
2021-12-17 11:05:34
2509
原创 spark将RDD解析字段转为dataFream
在spark中,将datafream数据源解析为RDD后,通过添加对应的字段信息,再转换为dataFream,直接上代码,记录下package com.ku.testimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.types._import org.apache.spark.sql.{DataFrame, Row, SparkSession}import scala.collection.mutableobject
2021-11-11 21:24:47
1513
原创 在spark计算RDD[Row]动态增加字段
关于在计算中,动态添加字段处理方式,参考网上的方式,进行整理如下,作个记录package com.ku.testimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.catalyst.expressions.GenericRowWithSchemaimport org.apache.spark.sql.types._import org.apache.spark.sql.{DataFrame, Row, SparkSession
2021-11-11 20:41:28
2469
原创 spark scala读取http数据信息
读取文件的多种方式:1、spark直接读取http数据,直接生成DataSet2、InputStreamReader3、Source.fromInputStreampackage com.ku.testimport java.io.{BufferedReader, InputStreamReader}import java.net.{URL, URLConnection}import org.apache.http.client.methods.HttpGetimport or
2021-11-09 21:47:28
3128
1
原创 elasticsearch全文搜索时intervals的用法
intervalsGET /ase_detection_rule/_search{ "query": { "intervals": { "description": { "all_of": { "ordered": true, "intervals": [ { "match": { "query": "Detects",
2021-01-21 17:45:18
851
原创 Elasticsearch带权重的指标聚合方式 weighted_avg
关于聚合有权重时,求平均的方式,总结了以下几点:1、首先确定平均值字段和权重字段,字段都为数值类型2、权重的字段 如果权重都相等,则和常规求平均结果一致 如果权重都为0,则平均值为null 如果权重值不同,可以根据下面的公式进行计划
2021-01-15 17:14:32
730
原创 ES使用SQL查询的2种方式
1、JDBC先说一下使用JDBC连接的方式,由于ES集群的版本号是7.6.2,所以必须使用JDBC的版本也是7.6.2,必须保持一致项目管理: maven依赖包:<dependency> <groupId>org.elasticsearch.plugin</groupId> <artifactId>x-pack-sql-jdbc</artifactId> <version>7.6.2</version>
2020-12-25 11:27:54
4663
原创 Elasticsearch7.6.2 rpm集群部署及异常处理
本次集群部署的目标:部署2个节点的es集群。在部署过程中遇到了几个问题:脑裂问题:由于只有2个节点,未配置node.master参数,导致选举失败,2个节点都是主节点。解决方法配置一个为true,一个为false集群名称设置问题:开始使用默认集群名称,直接启动起来后,发现两个集群名称不同,修改后再次启动一直报错,最终发现是需要先清除新加节点path.data刚才产生的不一致的数据,再次重启,OK如有遇到相同问题的,可以参考下下面的解决方案!基础配置:1. 系统:CentOS Linux re
2020-12-17 09:38:29
2030
原创 关于List、Set、Map、Array、Enum遍历方式总结
关于List、Set、Map、Array遍历方式总结:public class Tests { public static void main(String[] args) { //set =========================================================== Set<String> demoSet = new HashSet<>(); demoSet.add("tes
2020-10-27 19:41:03
163
原创 Linux 抓包工具tcpdump
1、操作命令#端口抓包tcpdump -i eth0 port 8082 -s 0 -w query.cap -v#IP抓包tcpdump -i eth0 host 192.168.1.111 -s 0 -w query.cap -v#eth0是网卡,如果是几个模块在同一服务器上,可以直接用lo,保存在cap文件里面#-s设置为0,tcpdump的数据包抓取长度,默认将会是65535字节启动tcpdump抓包[root@test ~]$ sudo tcpdump -i eth0 port
2020-05-15 13:40:37
172
原创 Hadoop安装部署及问题处理
一、下载Hadoop安装包sudo wget http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz二、 解压Hadoop到目录 sudo tar -zxvf hadoop-2.7.7.tar.gz -C ../apache/三、配置文件 1)、core-site.xml配置如下:<configuration> <property> <
2020-05-13 09:58:56
292
原创 Druid分析平台Imply部署
说明:该项目部署完成后,包括imply的平台系统和原生Druid平台系统。0、下载解压源码包#下载发布包wget https://static.imply.io/release/imply-3.3.1.2.tar.gz#解压tar -xzf imply-3.3.1.2.tar.gzcd imply-3.3.1.21、目录结构bin/* - run scripts for included software.conf/* - template configurations for
2020-05-12 00:19:11
1113
原创 Hadoop Yarn 运行日志查看不了
java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn't belong to this node at all.从网上搜索下了,找到答案,自己也作为学习,记录下1、hadoop的日志服务,它是一个独立的服务,默认情况关闭的,需要单独开启该服务2、该服务会涉及到2个文件的配置,其中包括:yarn-site.xml和mapred-site.xm
2020-05-10 23:33:12
3593
原创 Hadoop错误:failed with state FAILED due to: Application
0、部署Hadoop执行程序 部署Hadoop完成后,修改了namenode名称,从localhost修改为hadoop001,然后在Hadoop上运行测试程序wordcount1、任务执行时,报错,具体信息如下:20/05/09 23:55:49 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:803220/05/09 23:55:51 INFO input.FileInputFormat: Total input
2020-05-10 22:34:43
11289
1
原创 maven配置文件不对导致的错误
在进行mvn操作时报错信息,一直以为是版本不对问题,还对项目的各个pom依赖,以及父项目的进行了各种排查,其实都不后,最后终于发现问题原因1、之前的mvn操作都是通过idea进行的clean和package等操作2、今天是直接在命令行操作的,犯了个低级错误,在命令行操作时,这时候settings.xml配置,获取的是系统安装时默认的路径下文件3、在idea上的操作都是有修改过maven配置...
2020-04-28 13:56:20
600
原创 mybatis-spring连接数据库方式
下面整理的是mybatis-spring连接mysql的一种方式,在开发时遇到的一些问题,作为笔记先记录下来。Dao的mapper文件和映射文件名称,一定要一致,否则在数据处理时,会提示绑定失败,找不到文件错误properties文件中的配置,其中都是可以源码属性信息对应的,会在启动时自动导入mapper 文件中需要加注解@Repository,否则在使用时会提示找不到相应的bean信息...
2020-04-28 13:42:53
341
原创 MyBatis数据库连接配置示例
文章目录一、Mybatis 和 Spring Mybatis 的关系1、什么是 MyBatis-Spring?2、什么是 MyBatis?3、MyBatis数据库连接配置示例1)、POM依赖2)、数据连接配置3)、Mapper文件:4)、实体类5)、工具类(创建SqlSession)6)、单元测试7)、目录结构图一、Mybatis 和 Spring Mybatis 的关系1、什么是 MyB...
2020-04-26 23:58:37
467
翻译 springboot本地执行或远程调试
如果您使用Spring Boot Maven或Gradle插件来创建一个可执行jar,您可以使用java -jar来运行您的应用程序,如下面的例子所示:$ java -jar target/myapplication-0.0.1-SNAPSHOT.jar还可以在启用远程调试支持的情况下运$ java -Xdebug -Xrunjdwp:server=y,transport=dt_...
2020-04-17 00:24:25
874
原创 MySql 按某一字段分组,同时取每组的前三行数据
-- 按gid分组后,查询col2的前三名-- 方法一SELECT a.* FROMt2 a LEFT JOIN t2 bON a.gid=b.gid AND a.col2<=b.col2GROUP BY a.id,a.gid,a.col1,a.col2HAVING COUNT(b.id)ORDER BY a.gid,a.col2 desc;-- 方
2017-02-28 14:57:39
18210
3
转载 Cannot assign requested address解决办法
“Cannot assign requested address.”是由于linux分配的客户端连接端口用尽,无法建立socket连接所致,虽然socket正常关闭,但是端口不是立即释放,而是处于TIME_WAIT状态,默认等待60s后才释放。可能解决方法1--调低time_wait状态端口等待时间:1. 调低端口释放后的等待时间,默认为60s,修改为15~30ssysctl
2016-04-12 18:47:32
9632
转载 Nginx启动错误:error while loading shared libraries: libpcre.so.1
1# /usr/local/nginx/sbin/nginx2/usr/local/nginx/sbin/nginx: error while loading shared libraries: libpcre.so.1: cannot open shared object file: No such file or
2016-01-24 21:03:56
605
原创 js 格式化json串
格式化JSON串,这个输出一定要放到textarea标签中var data1 ={1:'aaa', 2:[1,2], 3:{1:"aaa"}};ar json_obj = JSON.stringify(data1, null, 4);if(document.getElementById("resultShow") !== null){ document.getElementById("r
2015-09-02 14:54:32
1416
原创 javascript中用eval处理字符串中的变量
var content = "'我是第' + id + '位参加者,大家一块来玩吧'"; function show(id){ var str = eval(content); // alert(str); document.write(str); } show(66);为了方便文案内容调整,都写到一个文件中,程序只调用其中的变更就可以了有时会需要传变更,就作
2015-08-24 17:26:33
887
转载 QR二维码
QR为英文 “Quick Response” 的缩写,即快速反应。QR码比普通条码可储存更多资料,扫描时的要求很低,无须像普通条码扫描时需直线对准扫描器才能识别。QR码可以存储名片信息等大容量的内容,包括WIFI ACCESS,文档,数字,网址等。其应用越来越广泛,领域包括电子商务、签到、防伪等等。QR的形式可以一反往常的黑白色调以及单调的方框,制作出很多有趣生动的QR二维码。
2015-08-24 11:34:15
1031
原创 微信接口获取昵称中的表情符的过滤
$tmpStr = '{"nickname":"\ue131\u6f6e\u978b\uff5e\u9ad8\u6893\u94b0\ud83d\udc5f\ud83d\udc5f\ud83d\udc5f"}';$tmpStr = '{"nickname" : "\u00ce.LoVe.\ue022U-Y.t666666666\ue420"}';$nickname = json_decode(
2015-08-09 23:32:38
14476
1
转载 yii执行流程
转载:http://www.cnblogs.com/bluecobra/archive/2011/11/30/2269207.html一 目录文件 |-framework 框架核心库 |--base 底层类库文件夹,包含CApplication(应用类,负责全局的用户请求处理,它管理的应用组件集,将提供特定功能给整个应用程序),CCo
2015-07-29 17:24:04
449
转载 PHP $_SERVER['SCRIPT_FILENAME'] 与 __FILE__ 的区别
PHP $_SERVER['SCRIPT_FILENAME'] 与 __FILE__通常情况下,PHP $_SERVER['SCRIPT_FILENAME'] 与 __FILE__ 都会返回 PHP 文件的完整路径(绝对路径)与文件名:<?phpecho 'SCRIPT_FILENAME 为:',$_SERVER['SCRIPT_FILENAME'];echo '';echo '
2015-07-29 16:55:02
390
转载 网站分析数据收集方式详解Web日志JS标记和包嗅探器
回顾网站数据分析历史,从“您是第***位来访用户”到现在百家齐放的专业工具提供商,网站分析已经逐渐发展衍化成一门科学。但面对形态各异的分析数据,很多人仍然困惑于数据的来源,了解数据的收集原理,也许对你解决这些困惑有所帮助。 眼下网站分析数据主要有三种收集方式:Web日志、JavaScript标记和包嗅探器。1. Web日志 下图是Web日志收集数
2015-07-05 19:58:16
1481
转载 访问者行为追踪比较——Web服务器日志与JavaScript页面标记
当前网站分析中对访客行为的追踪,最常用的方式Web服务器日志和JavaScript页面标记两种方式。 Web服务器日志基本原理用户对网页的提出的一次请求,就称为一次命中。通过Web服务器日志软件,将请求信息记录在日志文件中,通过日志分析程序即可获得点击流(访问流)数据。请求信息中包含:请求 URL状态时间来源链接 Referer用户代理
2015-07-05 19:42:33
1115
转载 linux下mysql的root密码忘记解决方
1.首先确认服务器出于安全的状态,也就是没有人能够任意地连接MySQL数据库。 因为在重新设置MySQL的root密码的期间,MySQL数据库完全出于没有密码保护的 状态下,其他的用户也可以任意地登录和修改MySQL的信息。可以采用将MySQL对 外的端口封闭,并且停止Apache以及所有的用户进程的方法实现服务器的准安全 状态。最安全的状态是到服务器的Console上面操作,并且
2015-06-17 15:33:53
355
转载 关于 InnoDB 索引长度限制的 tips
有同学问到InnoDB的索引长度问题,简单说几个tips。关于3072大家经常碰到InnoDB单列索引长度不能超过767bytes,实际上联合索引还有一个限制是3072。 可以看到,由于每个字段占用255*3, 因此这个索引的大小是3825>3072,报错。为什么3072我们知道InnoDB一个page的默认大小是16k。由于是Btree组织,要求叶
2015-05-26 16:01:33
1984
原创 php-fpm.conf配置信息
今天遇到一个问题,感觉特别奇怪,做一个记录了 phpinfo()执行是,显示display_error 为On但是已经在php.ini中设置了为off的选项,就是找到问题所有最后在php-fpm.conf文件中,找到如下代码:php_flag[display_errors] = Onphp_admin_value[error_log] = /var/log/httpd/f
2015-05-12 14:09:11
417
转载 理解B+树算法和Innodb索引
一、innodb存储引擎索引概述:innodb存储引擎支持两种常见的索引:B+树索引和哈希索引。innodb支持哈希索引是自适应的,innodb会根据表的使用情况自动生成哈希索引。B+树索引就是传统意义上的索引,是关系型数据库中最常用最有效的索引。B+树是从最早的平衡二叉树演变而来,但是B+树不是一个二叉树。B+中的B不代表二叉(Binary),而是代表平衡(Balance
2015-05-11 16:56:15
669
转载 MySQL服务器的线程数查看方法
MySQL服务器的线程数需要在一个合理的范围之内,这样才能保证MySQL服务器健康平稳地运行。Threads_created表示创建过的线程数,通过查看Threads_created就可以查看MySQL服务器的进程状态。mysql> show global status like 'Thread%'; +-------------------+-------+ | Variab
2015-04-18 10:32:59
5606
转载 查看修改mysql编码方式
MySQL的默认编码是Latin1,不支持中文,要支持中文需要把数据库的默认编码修改为gbk或者utf8。1、需要以root用户身份登陆才可以查看数据库编码方式(以root用户身份登陆的命令为:>mysql -u root –p,之后两次输入root用户的密码),查看数据库的编码方式命令为: >show variables like 'character%';+--------
2015-01-22 17:47:05
455
转载 用mysqldump备份数据库时出现when using LOCK TABLES
用mysqldump备份数据库时,如果出现when using LOCK TABLES,解决办法是加上 --skip-lock-tables例如:用mysqldump备份数据库时出现29: File './ecustomer//ec_leadcontrel.MYD'not found (Errcode: 24) when using LOCKTABLES在数据库名后加--skip-
2015-01-22 15:29:19
3735
转载 http消息头
http消息头但凡搞WEB开发的人都离不开HTTP(超文本传输协议),而要了解HTTP,除了HTML本身以外,还有一部分不可忽视的就是HTTP消息头。做过Socket编程的人都知道,当我们设计一个通信协议时,“消息头/消息体”的分割方式是很常用的,消息头告诉对方这个消息是干什么的,消息体告诉对方怎么干。HTTP传输的消息也是这样规定的,每一个HTTP包都分为HTTP头和HTTP体两
2015-01-18 20:08:58
473
HADOOP 2.X HDFS源码剖析 电子工业出版社
2018-04-13
php与gmagick的切图扩展
2013-12-09
GraphicsMagick图像处理
2013-12-09
redis 存储系统
2013-11-12
cmake-2.8.12.tar.gz
2013-10-28
Asp.net C# 工厂模式三层架构源码
2011-03-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人