- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 sed命令——批量修改文件内容
sed命令——批量修改文件内容批量替换单个文件内容 命令格式：sed -i 's/旧内容/新内容/g' 文件路径 1 sed -i's/oldString/newString/g'file 例如：我想替换cwx.txt文件中的 java 为 linux ,可以使用以下命令： 1 sed -i's/java/linux/g'cwx.txt 批量替换多个文件内容 命令格式：sed -i...
2022-01-21 15:22:06
7152
1
原创 JDBC连接数据库遇到的“驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。”问题解决方法
JDBC连接数据库遇到的“驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。”问题解决方法！时间:2018-12-20本文章向大家介绍JDBC连接数据库遇到的“驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。”问题解决方法！，主要包括JDBC连接数据库遇到的“驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。”问题解决方法！使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值
2022-01-21 13:35:25
5026
1
转载 SQL server 日期格式转换style 对应码
0 或 100 (*) 默认值 mon dd yyyy hh:miAM（或 PM） 1 101 美国 mm/dd/yyyy 2 102 ANSI yy.mm.dd 3 103 英国/法国 dd/mm/yy 4 104 德国 dd.mm.yy 5 105 意大利 dd-mm-yy 6 106 - dd mon...
2022-01-14 15:57:36
412
原创 sqlserver字符串拼接
SQL中字符串拼接1. 概述 2. 数字 + 字符串 3. 数字 + 数字 4.字符串 + 字符串 5. 使用CAST和CONVERT函数进行类型转换1. 概述在SQL语句中经常需要进行字符串拼接，以sqlserver，oracle，mysql三种数据库为例，因为这三种数据库具有代表性。sqlserver：select '123'+'456';oracle：select '123'||'456' from dual;或select concat('123','45
2022-01-14 15:32:58
50017
原创 sqlserver 截取日期年份和月份
sqlserver 截取日期年份和月份使用datepart函数,函数使用方法如下：一、函数功能：DATEPART() 函数用于返回日期/时间的单独部分，比如年、月、日、小时、分钟等等。二、语法：DATEPART(datepart,date)三、参数说明：date参数是合法的日期表达式。datepart参数可以是下列的值：四、实例1、截取年份：datepart(yy,'2017-1-1')返回：20172、截取月份：datepart(mm,'2017-1-1') 返回：1...
2022-01-14 15:24:52
16633
转载 Spark Streaming通过JDBC操作数据库
Spark Streaming通过JDBC操作数据库正在上传…重新上传取消郭寻抚关注0.122016.10.21 16:15:24字数 759阅读 5,7911. 前言1.1 说明本文记录了学习使用Spark Streaming通过JDBC操作数据库的过程，源数据从Kafka中读取。Kafka从0.10版本提供了一种新的消费者API，和0.8不同，因此Spark Streaming也提供了两种API与之对应，其中spark-streaming-kafka-0-8支持Kafka
2022-01-13 16:39:10
435
转载 Spark SQL 官方文档-中文翻译
Spark版本：Spark 1.5.2转载请注明出处：BYRans - 博客园1 概述（Overview） 2 DataFrames 2.1 入口：SQLContext（Starting Point: SQLContext） 2.2 创建DataFrames（Creating DataFrames） 2.3 DataFrame操作（DataFrame Operations） 2.4 运行SQL查询程序（Running SQL Queries Programmatically） .
2022-01-12 16:47:34
617
原创 KafkaUtils.createDirectStream()参数详解
转载自KafkaUtils.createDirectStream()参数详解 - 海贼王一样的男人 - 博客园通过KafkaUtils.createDirectStream该方法创建kafka的DStream数据源，传入有三个参数：ssc，LocationStrategies，ConsumerStrategies。LocationStrategies有三种策略：PreferBrokers，PreferConsistent，PreferFixed详情查看上边源码解析 1 2 .
2022-01-11 11:42:06
2619
原创 使用spark从kafka读取数据写入ES
0.前情提要简略学习elasticsearch - 简书并增加mapping字段timestampPUT /danmaku/_mapping{ "properties": { "timestamp": { "type": "date", "index": false } }}1.添加maven依赖<dependency> <groupId>org.apache.spark</groupI
2022-01-10 13:23:31
1384
原创 spark写入ES(动态模板）
使用es-hadoop插件，主要使用elasticsearch-spark-20_2.11-6.2.x.jar官网：Elasticsearch for Apache Hadoop | Elasticsearch for Apache Hadoop [7.16] | Elastic关于ES详细的配置参数 大家可以看下面的这个类：org.elasticsearch.hadoop.cfg.ConfigurationOptionssparkstreaming写入ES: .
2022-01-10 13:22:09
1632
原创 Spark Streaming读取Kafka数据的两种方式
Kafka在0.8和0.10之间引入了一种新的消费者API,因此,Spark Streaming与Kafka集成,有两种包可以选择:spark-streaming-kafka-0-8与spark-streaming-kafka-0-10。在使用时应注意以下几点: spark-streaming-kafka-0-8兼容Kafka 0.8.2.1及以后的版本, 从Spark 2.3.0开始，对Kafka 0.8支持已被标记为过时。 spark-streaming-kafka-0-10兼容Kaf.
2022-01-10 13:09:22
2227
原创 Logstash filter 的使用
概述logstash之所以强大和流行，与其丰富的过滤器插件是分不开的过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理，甚至添加独特的新事件到后续流程中强大的文本解析工具--Grokgrok是一个十分强大的logstashfilter插件，他可以解析任何格式的文本，他是目前logstash中解析非结构化日志数据最好的方式基本用法Grok的语法规则是：%{语法 : 语义}“语法”指的就是匹配的模式，例如使用N...
2022-01-10 11:06:27
955
原创 logstash过滤器-json插件解析多层json嵌套
logstash过滤器-json插件解析多层json嵌套2019-08-26发表者 Venus版本：logstash 6.6.2方法：用logstash过滤器中的json插件配置选项实现首先介绍用到的参数参数：add_field作用：添加字段参数：%{field}作用：调用事件中的指定字段参数：remove_field作用：删除字段官方插件资料：JSON filter plugin | Logstash Reference [6.6] | Elastic通过文档描述，json插.
2022-01-08 17:16:10
2910
原创 elasticsearch过滤
Filter DSLterm 过滤term主要用于精确匹配哪些值，比如数字，日期，布尔值或 not_analyzed 的字符串(未经分析的文本数据类型)：{ "term": { "age": 26 }}{ "term": { "date": "2014-09-01" }}{ "term": { "public": true }}{ "term": { "tag": "full_text" }}完整的例子， hostname 字...
2022-01-08 11:55:24
491
原创 JS实现决策报表中滚屏/跑马灯效果
1. 概述1.1 版本报表服务器版本 功能变更 11.0 -- 1.2预期效果普通报表可以参考JS实现自动滚屏/跑马灯效果实现跑马灯效果，决策报表中报表块同样希望实现跑马灯效果，如下图所示：1.3 实现思路通过给报表块添加「初始化后」 JS 事件实现隐藏滚动条的跑马灯的效果。跑马灯的详细接口介绍可参见：跑马灯接口2. 示例2.1 数据准备新建决策报表，新建数据集ds1，SQL 语句为：SELECT * FROM 销量，如下...
2022-01-04 17:05:12
2026
原创 帆软Tab块
1.概述1.1 版本报表服务器版本 11.0 1.2应用场景 模板维度、数据较多，又不希望模板页面过长时，可使用 Tab 块，手动切换维度，且可以展示每个维度的标题。 同一个页面有多个明细数据表，不希望每一个都平铺展示出来，可使用 Tab 块，根据实际需要展示数据。 1.3功能简介针对您想要分析的某组数据，可以从使用 Tab 设置多个 Tab，分别从多个维度来分析这组数据，查看时切换 Tab 即可，非常方便。例如：想要分析某工厂的生产情况，...
2022-01-04 16:23:23
5397
1
原创 决策报表内报表块刷新插件
1. 概述1.1 版本 设计器版本 插件版本 11.0 V1.5.4 注：不支持移动端。1.2 功能介绍官方提供了报表块刷新插件，可以直接通过插件进行刷新设置。2. 插件介绍2.1 插件安装点击下载插件：表单内报表块刷新设计器插件安装方法参照设计器插件管理服务器安装插件方法参照服务器插件管理2.2 定期刷新选择报表块，点击属性面板的刷新编辑按钮，弹出报表块刷新设置界面，选择定期刷新并设置好刷新间..
2021-12-31 13:24:24
506
原创 服务器插件管理
1.概述1.1版本报表服务器版本 11.0 1.2应用场景用户工程部署在服务器上，若需要插件实现某一功能时，可在服务器中下载插件进行使用。1.3 功能简介插件管理提供可视化界面安装、删除、更新、禁用、启用插件。如下图所示：注：IE8及以下版本浏览器不支持。插件管理支持以下特性： 支持热部署，安装、删除、更新、禁用、启用不需要重启 配置 license 不需要重启 自动安装和更新插件的依赖（包括插件之间的依赖关系） ...
2021-12-31 13:23:03
1774
原创 设计器插件管理
设计器插件管理对此内容反馈产品级协助 文档创建者：jiangsr 编辑次数：27次 最近更新：Carly于2021-11-091.概述1.1版本报表服务器版本 功能变更 11.0 -- 1.2应用场景用户需要插件实现某一功能时，可在设计器中下载插件进行使用。注1：服务器中下载插件可参考：服务器插件管理注2：当设计器远程连接服务器时，服务器如需使用某插件功能，则服务器端和设计器端均需安装该插件，且插件...
2021-12-31 13:21:44
776
原创 CDH6.0 取消KERBEROS认证
CDH6.0 取消KERBEROS认证标签：CDHkerberos首先停止集群所有服务。1 zookeeper 1.1 enableSecurity取消勾选。1.2 取消勾选sasl2HDFS修改Hadoop的安全身份验证第一个选为simple，第二个取消勾选修改DataNode的数据目录权限为755（原值为700）修改DataNode服务的端口号，分别修改为9866和9864（原值为1004 1006）...
2021-12-24 14:23:13
1869
原创 帆软外接数据库配置could not execute batch
数据库 MySQL 报错could not execute batch报错日志如下所示：16:59:48 Thread-45 ERROR [standard]could not execute batchcom.fr.third.org.hibernate.exception.GenericJDBCException: could not execute batchCaused by: java.sql.SQLException:Incorrect string value: '\xE6\x..
2021-12-23 14:24:12
2672
转载 如何删除Kafka消费组
文章来源：如何删除Kafka消费组_分布式消息服务Kafka版_常见问题_消费组问题_华为云Kafka消费组可以通过Kafka客户端的命令行方式连接Kafka实例完成删除。说明：请下载与Kafka实例版本相同的客户端。查询消费组 kafka-consumer-groups.sh --bootstrap-server {kafka连接地址} --list [root@zk-server-1 bin]# ./kafka-consumer-groups.sh --bootstrap-ser
2021-10-22 17:41:07
9858
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人