- 博客(117)
- 资源 (18)
- 收藏
- 关注
RSS订阅原创 spark运行在windows环境的idea遇到的问题记录
关于在windows环境开发spark时，遇到的一些环境问题，作一下记录这次只了两点记录，如下：１、Couldn't find pwsh.exe or powershell.exe２、Could not locate executable null\bin\winutils.exe in the Hadoop binaries前提：由于机器使用已久，申请了一台新的笔记本 ，各种环境都需要重新安装，确实是头大啊，需要准备各种安装软件一、问题1的解决方案1、新本到手后，下载了新版
2022-01-26 11:35:12
1810
原创 StructuredStreaming处理时参数checkpointLocation配置
问题记录：在spark进行实时计算时，通过Kafka读取数据写到mysql中，由于本地测试环境提交任务可以正常执行，但是在生产环境总是报如下错误，提示文件找不到，但是查看又不是具体的配置文件或jar包类文件，一时摸不清头脑了，后来通过错误日志的 trace找到原因。原来生产环境是强制要求在写流时，添加参数checkpointLocation，最终问题得以解决错误信息：Showing 4096 bytes. Click here for full logamenode.dfs.test.ne
2021-12-17 11:05:34
2429
原创 spark将RDD解析字段转为dataFream
在spark中，将datafream数据源解析为RDD后，通过添加对应的字段信息，再转换为dataFream，直接上代码，记录下package com.ku.testimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.types._import org.apache.spark.sql.{DataFrame, Row, SparkSession}import scala.collection.mutableobject
2021-11-11 21:24:47
1501
原创 在spark计算RDD[Row]动态增加字段
关于在计算中，动态添加字段处理方式，参考网上的方式，进行整理如下，作个记录package com.ku.testimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.catalyst.expressions.GenericRowWithSchemaimport org.apache.spark.sql.types._import org.apache.spark.sql.{DataFrame, Row, SparkSession
2021-11-11 20:41:28
2390
原创 spark scala读取http数据信息
读取文件的多种方式：1、spark直接读取http数据，直接生成DataSet2、InputStreamReader3、Source.fromInputStreampackage com.ku.testimport java.io.{BufferedReader, InputStreamReader}import java.net.{URL, URLConnection}import org.apache.http.client.methods.HttpGetimport or
2021-11-09 21:47:28
3031
1
原创 elasticsearch全文搜索时intervals的用法
intervalsGET /ase_detection_rule/_search{ "query": { "intervals": { "description": { "all_of": { "ordered": true, "intervals": [ { "match": { "query": "Detects",
2021-01-21 17:45:18
800
原创 Elasticsearch带权重的指标聚合方式 weighted_avg
关于聚合有权重时，求平均的方式，总结了以下几点：1、首先确定平均值字段和权重字段，字段都为数值类型2、权重的字段 如果权重都相等，则和常规求平均结果一致 如果权重都为0，则平均值为null 如果权重值不同，可以根据下面的公式进行计划
2021-01-15 17:14:32
677
原创 ES使用SQL查询的2种方式
1、JDBC先说一下使用JDBC连接的方式，由于ES集群的版本号是7.6.2，所以必须使用JDBC的版本也是7.6.2，必须保持一致项目管理: maven依赖包：<dependency> <groupId>org.elasticsearch.plugin</groupId> <artifactId>x-pack-sql-jdbc</artifactId> <version>7.6.2</version>
2020-12-25 11:27:54
4464
原创 Elasticsearch7.6.2 rpm集群部署及异常处理
本次集群部署的目标：部署2个节点的es集群。在部署过程中遇到了几个问题：脑裂问题：由于只有2个节点，未配置node.master参数，导致选举失败，2个节点都是主节点。解决方法配置一个为true，一个为false集群名称设置问题：开始使用默认集群名称，直接启动起来后，发现两个集群名称不同，修改后再次启动一直报错，最终发现是需要先清除新加节点path.data刚才产生的不一致的数据，再次重启，OK如有遇到相同问题的，可以参考下下面的解决方案！基础配置：1. 系统：CentOS Linux re
2020-12-17 09:38:29
1921
原创 关于List、Set、Map、Array、Enum遍历方式总结
关于List、Set、Map、Array遍历方式总结：public class Tests { public static void main(String[] args) { //set =========================================================== Set<String> demoSet = new HashSet<>(); demoSet.add("tes
2020-10-27 19:41:03
152
原创 Linux 抓包工具tcpdump
1、操作命令#端口抓包tcpdump -i eth0 port 8082 -s 0 -w query.cap -v#IP抓包tcpdump -i eth0 host 192.168.1.111 -s 0 -w query.cap -v#eth0是网卡，如果是几个模块在同一服务器上，可以直接用lo，保存在cap文件里面#-s设置为0，tcpdump的数据包抓取长度，默认将会是65535字节启动tcpdump抓包[root@test ~]$ sudo tcpdump -i eth0 port
2020-05-15 13:40:37
147
原创 Hadoop安装部署及问题处理
一、下载Hadoop安装包sudo wget http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz二、 解压Hadoop到目录 sudo tar -zxvf hadoop-2.7.7.tar.gz -C ../apache/三、配置文件 1）、core-site.xml配置如下：<configuration> <property> <
2020-05-13 09:58:56
282
原创 Druid分析平台Imply部署
说明：该项目部署完成后，包括imply的平台系统和原生Druid平台系统。0、下载解压源码包#下载发布包wget https://static.imply.io/release/imply-3.3.1.2.tar.gz#解压tar -xzf imply-3.3.1.2.tar.gzcd imply-3.3.1.21、目录结构bin/* - run scripts for included software.conf/* - template configurations for
2020-05-12 00:19:11
1098
原创 Hadoop Yarn 运行日志查看不了
java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn't belong to this node at all.从网上搜索下了，找到答案，自己也作为学习，记录下1、hadoop的日志服务，它是一个独立的服务，默认情况关闭的，需要单独开启该服务2、该服务会涉及到2个文件的配置，其中包括：yarn-site.xml和mapred-site.xm
2020-05-10 23:33:12
3489
原创 Hadoop错误：failed with state FAILED due to: Application
0、部署Hadoop执行程序 部署Hadoop完成后，修改了namenode名称，从localhost修改为hadoop001，然后在Hadoop上运行测试程序wordcount1、任务执行时，报错，具体信息如下：20/05/09 23:55:49 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:803220/05/09 23:55:51 INFO input.FileInputFormat: Total input
2020-05-10 22:34:43
10570
1
原创 maven配置文件不对导致的错误
在进行mvn操作时报错信息，一直以为是版本不对问题，还对项目的各个pom依赖，以及父项目的进行了各种排查，其实都不后，最后终于发现问题原因１、之前的mvn操作都是通过idea进行的clean和package等操作２、今天是直接在命令行操作的，犯了个低级错误，在命令行操作时，这时候settings.xml配置，获取的是系统安装时默认的路径下文件３、在idea上的操作都是有修改过maven配置...
2020-04-28 13:56:20
555
原创 mybatis-spring连接数据库方式
下面整理的是mybatis-spring连接mysql的一种方式，在开发时遇到的一些问题，作为笔记先记录下来。Dao的mapper文件和映射文件名称，一定要一致，否则在数据处理时，会提示绑定失败，找不到文件错误properties文件中的配置，其中都是可以源码属性信息对应的，会在启动时自动导入mapper 文件中需要加注解@Repository，否则在使用时会提示找不到相应的bean信息...
2020-04-28 13:42:53
334
原创 MyBatis数据库连接配置示例
文章目录一、Mybatis 和 Spring Mybatis 的关系1、什么是 MyBatis-Spring？2、什么是 MyBatis？3、MyBatis数据库连接配置示例1)、POM依赖2)、数据连接配置3)、Mapper文件：4)、实体类5)、工具类（创建SqlSession）6)、单元测试7)、目录结构图一、Mybatis 和 Spring Mybatis 的关系1、什么是 MyB...
2020-04-26 23:58:37
439
翻译 springboot本地执行或远程调试
如果您使用Spring Boot Maven或Gradle插件来创建一个可执行jar，您可以使用java -jar来运行您的应用程序，如下面的例子所示:$ java -jar target/myapplication-0.0.1-SNAPSHOT.jar还可以在启用远程调试支持的情况下运$ java -Xdebug -Xrunjdwp:server=y,transport=dt_...
2020-04-17 00:24:25
859
原创 MySql 按某一字段分组，同时取每组的前三行数据
-- 按gid分组后，查询col2的前三名-- 方法一SELECT a.* FROMt2 a LEFT JOIN t2 bON a.gid=b.gid AND a.col2<=b.col2GROUP BY a.id,a.gid,a.col1,a.col2HAVING COUNT(b.id)ORDER BY a.gid,a.col2 desc;-- 方
2017-02-28 14:57:39
18127
3
转载 Cannot assign requested address解决办法
“Cannot assign requested address.”是由于linux分配的客户端连接端口用尽，无法建立socket连接所致，虽然socket正常关闭，但是端口不是立即释放，而是处于TIME_WAIT状态，默认等待60s后才释放。可能解决方法1--调低time_wait状态端口等待时间：1. 调低端口释放后的等待时间，默认为60s，修改为15~30ssysctl
2016-04-12 18:47:32
9420
转载 Nginx启动错误:error while loading shared libraries: libpcre.so.1
1# /usr/local/nginx/sbin/nginx2/usr/local/nginx/sbin/nginx: error while loading shared libraries: libpcre.so.1: cannot open shared object file: No such file or
2016-01-24 21:03:56
595
原创 js 格式化json串
格式化JSON串，这个输出一定要放到textarea标签中var data1 ={1:'aaa', 2:[1,2], 3:{1:"aaa"}};ar json_obj = JSON.stringify(data1, null, 4);if(document.getElementById("resultShow") !== null){ document.getElementById("r
2015-09-02 14:54:32
1397
原创 javascript中用eval处理字符串中的变量
var content = "'我是第' + id + '位参加者，大家一块来玩吧'"; function show(id){ var str = eval(content); // alert(str); document.write(str); } show(66);为了方便文案内容调整，都写到一个文件中，程序只调用其中的变更就可以了有时会需要传变更，就作
2015-08-24 17:26:33
868
转载 QR二维码
QR为英文 “Quick Response” 的缩写，即快速反应。QR码比普通条码可储存更多资料，扫描时的要求很低，无须像普通条码扫描时需直线对准扫描器才能识别。QR码可以存储名片信息等大容量的内容，包括WIFI ACCESS，文档，数字，网址等。其应用越来越广泛，领域包括电子商务、签到、防伪等等。QR的形式可以一反往常的黑白色调以及单调的方框，制作出很多有趣生动的QR二维码。
2015-08-24 11:34:15
964
原创 微信接口获取昵称中的表情符的过滤
$tmpStr = '{"nickname":"\ue131\u6f6e\u978b\uff5e\u9ad8\u6893\u94b0\ud83d\udc5f\ud83d\udc5f\ud83d\udc5f"}';$tmpStr = '{"nickname" : "\u00ce.LoVe.\ue022U-Y.t666666666\ue420"}';$nickname = json_decode(
2015-08-09 23:32:38
14426
1
转载 yii执行流程
转载：http://www.cnblogs.com/bluecobra/archive/2011/11/30/2269207.html一 目录文件 |-framework 框架核心库 |--base 底层类库文件夹，包含CApplication(应用类，负责全局的用户请求处理，它管理的应用组件集，将提供特定功能给整个应用程序),CCo
2015-07-29 17:24:04
441
转载 PHP $_SERVER['SCRIPT_FILENAME'] 与 __FILE__ 的区别
PHP $_SERVER['SCRIPT_FILENAME'] 与 __FILE__通常情况下，PHP $_SERVER['SCRIPT_FILENAME'] 与 __FILE__ 都会返回 PHP 文件的完整路径（绝对路径）与文件名：<?phpecho 'SCRIPT_FILENAME 为：',$_SERVER['SCRIPT_FILENAME'];echo '';echo '
2015-07-29 16:55:02
380
转载 网站分析数据收集方式详解Web日志JS标记和包嗅探器
回顾网站数据分析历史，从“您是第***位来访用户”到现在百家齐放的专业工具提供商，网站分析已经逐渐发展衍化成一门科学。但面对形态各异的分析数据，很多人仍然困惑于数据的来源，了解数据的收集原理，也许对你解决这些困惑有所帮助。 眼下网站分析数据主要有三种收集方式：Web日志、JavaScript标记和包嗅探器。1. Web日志 下图是Web日志收集数
2015-07-05 19:58:16
1470
转载 访问者行为追踪比较——Web服务器日志与JavaScript页面标记
当前网站分析中对访客行为的追踪，最常用的方式Web服务器日志和JavaScript页面标记两种方式。 Web服务器日志基本原理用户对网页的提出的一次请求，就称为一次命中。通过Web服务器日志软件，将请求信息记录在日志文件中，通过日志分析程序即可获得点击流（访问流）数据。请求信息中包含：请求 URL状态时间来源链接 Referer用户代理
2015-07-05 19:42:33
1103
转载 linux下mysql的root密码忘记解决方
1．首先确认服务器出于安全的状态，也就是没有人能够任意地连接MySQL数据库。 因为在重新设置MySQL的root密码的期间，MySQL数据库完全出于没有密码保护的 状态下，其他的用户也可以任意地登录和修改MySQL的信息。可以采用将MySQL对 外的端口封闭，并且停止Apache以及所有的用户进程的方法实现服务器的准安全 状态。最安全的状态是到服务器的Console上面操作，并且
2015-06-17 15:33:53
347
转载 关于 InnoDB 索引长度限制的 tips
有同学问到InnoDB的索引长度问题，简单说几个tips。关于3072大家经常碰到InnoDB单列索引长度不能超过767bytes，实际上联合索引还有一个限制是3072。 可以看到，由于每个字段占用255*3, 因此这个索引的大小是3825>3072，报错。为什么3072我们知道InnoDB一个page的默认大小是16k。由于是Btree组织，要求叶
2015-05-26 16:01:33
1974
原创 php-fpm.conf配置信息
今天遇到一个问题，感觉特别奇怪，做一个记录了 phpinfo()执行是，显示display_error 为On但是已经在php.ini中设置了为off的选项，就是找到问题所有最后在php-fpm.conf文件中，找到如下代码：php_flag[display_errors] = Onphp_admin_value[error_log] = /var/log/httpd/f
2015-05-12 14:09:11
411
转载 理解B+树算法和Innodb索引
一、innodb存储引擎索引概述：innodb存储引擎支持两种常见的索引：B+树索引和哈希索引。innodb支持哈希索引是自适应的，innodb会根据表的使用情况自动生成哈希索引。B+树索引就是传统意义上的索引，是关系型数据库中最常用最有效的索引。B+树是从最早的平衡二叉树演变而来，但是B+树不是一个二叉树。B+中的B不代表二叉(Binary),而是代表平衡(Balance
2015-05-11 16:56:15
662
转载 MySQL服务器的线程数查看方法
MySQL服务器的线程数需要在一个合理的范围之内，这样才能保证MySQL服务器健康平稳地运行。Threads_created表示创建过的线程数，通过查看Threads_created就可以查看MySQL服务器的进程状态。mysql> show global status like 'Thread%'; +-------------------+-------+ | Variab
2015-04-18 10:32:59
5577
转载 查看修改mysql编码方式
MySQL的默认编码是Latin1，不支持中文，要支持中文需要把数据库的默认编码修改为gbk或者utf8。1、需要以root用户身份登陆才可以查看数据库编码方式(以root用户身份登陆的命令为：>mysql -u root –p,之后两次输入root用户的密码)，查看数据库的编码方式命令为: >show variables like 'character%';+--------
2015-01-22 17:47:05
445
转载 用mysqldump备份数据库时出现when using LOCK TABLES
用mysqldump备份数据库时，如果出现when using LOCK TABLES，解决办法是加上 --skip-lock-tables例如：用mysqldump备份数据库时出现29: File './ecustomer//ec_leadcontrel.MYD'not found (Errcode: 24) when using LOCKTABLES在数据库名后加--skip-
2015-01-22 15:29:19
3707
转载 http消息头
http消息头但凡搞WEB开发的人都离不开HTTP（超文本传输协议），而要了解HTTP，除了HTML本身以外，还有一部分不可忽视的就是HTTP消息头。做过Socket编程的人都知道，当我们设计一个通信协议时，“消息头/消息体”的分割方式是很常用的，消息头告诉对方这个消息是干什么的，消息体告诉对方怎么干。HTTP传输的消息也是这样规定的，每一个HTTP包都分为HTTP头和HTTP体两
2015-01-18 20:08:58
466
HADOOP 2.X HDFS源码剖析 电子工业出版社
2018-04-13
php与gmagick的切图扩展
2013-12-09
GraphicsMagick图像处理
2013-12-09
redis 存储系统
2013-11-12
cmake-2.8.12.tar.gz
2013-10-28
Asp.net C# 工厂模式三层架构源码
2011-03-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人