- 博客(43)
- 收藏
- 关注
RSS订阅原创 海纳斯 hinas 的hi3798mv100 华为悦盒 6108v9 安装wifi模块
在上图中没有wlan0网卡，说明网卡类型不是etv类型，需要重新执行脚本选择ftv类型，如果不知道网卡类型，就选择默认，安装完毕后如果为识别出网卡，可以重新安装选择etv 类型。上图中出现了wlan0 说明驱动安装正确，可以执行命令 查看状态。
2024-06-26 15:22:09
455
原创 alist配合onlyoffice 实现在线预览
我是采用docker安装，采用的版本是7.2， aarch64 可以支持，端口号为。配置文件里面的主机IP，需要修改为安装onlyoffice 的ip。注意：配置文件中的主机IP需要修改为自己机器的IP。增加conf配置文件。
2024-06-02 21:44:40
940
1
原创 安装Casaos系统后Nas脚本基础设置
以安装casaos为中心的ubuntu作为nas小主机设置本文是在小主机安装好了Ubuntu系统后的设置本文以香橙派P3b作为示例例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
2024-06-01 00:11:04
757
原创 mac 上通过命令行挂载NTFS硬盘，使其可以进行读写
在 macOS 中，默认情况下只能以只读模式挂载 NTFS 硬盘。为了实现读写功能，你可以使用一些第三方工具或驱动程序。其中一个流行的选择是安装一个名为 Tuxera NTFS 的驱动程序，但这是一个商业软件。对于免费的解决方案，你可以使用 osxfuse 和 ntfs-3g。ntfs-3g 在 macOS 上安装时需要 Linux 内核支持，因为它使用了 FUSE（文件系统在用户空间）技术来实现对 NTFS 文件系统的读写。
2024-04-04 00:00:05
2201
原创 海纳斯Hinas安装Tailscale
遇到报错，然后根据 ：安装软件出现dpkg: error processingxxx.deb错误。海纳斯自己安装了Tailscale，但是无法使用，需要卸载重新安装。
2024-03-10 12:50:51
1064
原创 docker 安装kafka
docker 安装kafka文章目录docker 安装kafka前言一、使用步骤1.docker-compose.yml2.执行语句总结前言提示：以下是本篇文章正文内容，下面案例可供参考一、使用步骤1.docker-compose.yml代码如下（示例）：version: "2"services: zookeeper: image: docker.io/bitnami/zookeeper:3.7 ports: - "2181:2181"
2021-11-02 16:12:25
849
原创 mac 使用小技巧，持续更新
mac 使用小技巧持续更新文章目录mac 使用小技巧前言一、使用python3开启http服务二、使用命令获取文件或者文本绝对路径三、自带截图总结前言作为一个攻城狮，日常使用技巧记录提示：以下是本篇文章正文内容，下面案例可供参考一、使用python3开启http服务执行的路径下都可以成为http访问的路径python -m http.server 80 二、使用命令获取文件或者文本绝对路径option+command+c三、自带截图截取部分图片shift+co
2021-08-29 19:17:49
184
原创 flink sql client 连接kafka解析avro数据 (avro ArrayIndexOutOfBoundsException 解决办法)
flink sql 连接kafka解析avro数据flink sql 连接kafka解析avro数据查看avro的schema写flink sql 报错正确的flink sql注意的点如何确定flink sql是用map array rowflink sql 连接kafka解析avro数据因为工作需要，需要写FlinkSqlClient解析avro数据，但是网上例子很少，最后在看到一位老哥用debug方式排查问题，我这里也用了相同方式，才找到问题所在 。查看avro的schema{ "type"
2021-08-21 12:54:55
3597
6
原创 线程安全的时间格式转换
线程安全的时间格式转换时间格式类型时间格式类型yyyy-MM-dd HH:mm:ss.SSSyyyy-MM-dd HH:mm:ssyyyy-MM-dd'T'HH:mm:ss.SSSFastDateFormat fdf = FastDateFormat.getInstance("yyyy-MM-dd'T'HH:mm:ss.SSS");引入maven<!-- https://mvnrepository.com/artifact/org.apache.commons/commons-lang
2021-07-30 17:43:48
340
原创 pg 时间戳转换成时间
SELECT *, to_char( to_timestamp( statistic_time / 1000 ), 'yyyy-MM-dd HH24:MI:SS' ) AS TIME FROM xxx WHERE DAY = 20210401 ORDER BY statistic_time DESC
2021-04-01 13:40:15
3097
原创 spark 相关错误记录，持续更新
1、spark连接datanode超时java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read解决办法 spark.sparkContext.hadoopConfiguration.set("dfs.client.socket-timeout","180000") spark.sparkContext.hadoopConfiguration.s
2021-02-19 19:14:32
522
原创 mysql时间校验 函数
CREATE OR REPLACE FUNCTION isnumeric ( txtStr VARCHAR ) RETURNS BOOLEAN AS $$ BEGIN RETURN txtStr ~ '^([0-9]+[.]?[0-9]*|[.][0-9]+)$'; END; $$ LANGUAGE'plpgsql';CREATE OR REPLACE FUNCTION isDate ( dateStr VARCHAR ) RETURNS BOOLEAN AS $$ BEGIN IF
2021-01-19 18:45:21
366
原创 scala基于json4s json转map json转list map转json
scala基于json4s json转map json转listimport org.json4s.DefaultFormatsimport org.json4s.jackson.{JsonMethods, Serialization}/** * @Auther xiaojin * @Date 2020-12-22 7:51 下午 */object test { def main(args: Array[String]): Unit = { val aa = Map(
2020-12-23 10:49:21
837
原创 sql 求定点距离内的点
sql 求定点范围五公里内的点SELECT * FROM ( SELECT *, ( 6371 * acos( cos( radians( $lat ) ) * cos( radians( latitude ) ) * cos( radians( longitude ) - radians( $lng ) ) + sin( radians( $lat ) ) * sin( radians( latitude ) ) ) ) AS distance FROM
2020-11-16 20:53:47
125
原创 scala spark 高精度BigDecimal除法
scala 除法 val totalnumBigDecimal = new java.math.BigDecimal(totalnum) val reissuenumBigDecimal = new java.math.BigDecimal(reissuenum) val reissuerate = reissuenumBigDecimal.divide(totalnumBigDecimal, 2, java.math.BigDecimal.ROUND_HALF_DOWN
2020-11-12 16:41:25
1053
原创 scala 递归解析fastjson
scala 递归解析fastjsonimport com.alibaba.fastjson.{JSON, JSONArray, JSONObject}import scala.collection.mutable/** * @Auther xxxx * @Date 2020-10-30 1:38 下午 */object JsonUtil { def analysis(jsonObject: JSONObject): mutable.HashMap[String, AnyRef
2020-11-02 09:34:34
267
原创 maven-assembly-plugin scala springboot 打包
一、springboot 和maven-assembly-plugin结合pom文件 <!-- SpringBoot专用的打包插件 --> <!--分离打包 第一步使用springboot插件只打包执行jar，使用assembly 打包其他东西--> <build> <finalName>powerjob-server</finalName> <plugins>
2020-10-26 13:19:33
360
原创 java 构建kafka的生产者和消费者
引包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency>生产者import com.ssi.dataplatform.single.co
2020-09-18 08:53:32
258
原创 fastjson 递归解析json成map
fastjson 依赖包 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.73</version> </dependency>代码/** * @Auther xiaojin * @Date 2020-09-
2020-09-18 08:45:06
1334
1
原创 Es http bulk批量插入、创建删除模板mapping
import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import java.io.IOException;import java.text.ParseException;import java.util.Map;/** * @Auther xiaojin * @Date 2020-09-16 12:13 下午 */public class EsUtil { public static.
2020-09-18 08:41:27
1028
原创 HttpclientUtil4 的get、put、post、delete、Patch、options、head
添加maven依赖 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.4</version> </dependency>代码import org.apache.commons.la
2020-09-18 08:37:30
326
原创 Mac 下 brew 切换为国内源
简介Homebrew 是一款自由及开放源代码的软件包管理系统，用以简化 macOS 和 linux 系统上的软件安装过程。它拥有安装、卸载、更新、查看、搜索等很多实用的功能，通过简单的一条指令，就可以实现包管理，十分方便快捷。Homebrew 主要有四个部分组成: brew、homebrew-core 、homebrew-bottles、homebrew-cask。名称说明brewHomebrew 源代码仓库homebrew-coreHomebrew 核心软件仓库h
2020-08-11 20:59:30
419
原创 scala Flink读取kafka 写入es(elasticsearch) 简单实现
scals Filek读取kafka 写入elasticsearch 简单实现引入pom依赖es的Mapping读取kafka 写入es 代码实现scala 构建kafka生产者scala 构建kafka消费者引入pom依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId
2020-07-24 19:20:56
856
原创 mac获取当前文件的路径 适用于 10.12.6、10.13、 10.14、10.15
实际工作中经常需要获取当前文件的路径。在mac中常用的方法有如下几种方式一如果只是需要看一下这个文件的路径，可以先选中该文件，然后右键，选择显示简介，然后就会显示这个文件的具体路径。快捷键为command+i方式二上面的方式只能查看路径，但是实际工作中经常需要对路径进行复制粘贴。那么可以打开terminal，把文件拖到terminal中，在terminal中就会显示文件对应的路径，然后进行复制粘贴即可。方式三如果是想要进行复制粘贴路径，可以找到对应的文件，然后command+option+c，就
2020-06-02 09:09:38
342
原创 mysql多表联查
SELECT f.vin AS vin, o.NAME AS NAME, v.plate_no AS plate_no, f.stat_day AS stat_day FROM lqcv_analysis.lqcv_fault_stat_inday f INNER JOIN lqclw.vehicle v ON f.vin = v.vin INNER JOIN lqclw.customer_organization o ON f.org_id = o.id GROUP BY vin,
2020-05-28 10:48:09
180
原创 scala中json与case class对象的转换, spark读取es json转换成case class
ilinux_onescala中json与对象的转换遇到的问题因为要把spark从es读出来的json数据转换为对象，开始想用case class定义类型，通过fastjson做转换。如下复制代码复制代码case class Book (author: String, content: String, id: String, time: Long, title: String) v...
2020-05-07 12:23:14
3019
1
原创 mysql update 根据一个字段更新另一个字段
UPDATE lqcv_behavior_stat_inday a1INNER JOIN ( SELECT substring( stat_day, 1, 4 ) AS YEAR, substring( stat_day, 5, 2 ) AS MONTH, substring( stat_day, 7, 2 ) AS DAY, stat_day, id FROM l...
2020-05-05 20:51:54
3844
原创 国内几个maven镜像源，国内maven仓库,阿里，华为，腾讯，网易
<mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url>...
2020-04-28 20:56:08
43452
7
原创 多线程ThreadPoolExecutor与职责链结合
import org.joda.time.DateTime;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.beans.factory.annotation.Value;import org.springframework.scheduling.annotatio...
2020-04-19 09:22:05
165
原创 写csv解决Excel打开乱码问题
写csv解决以文本和Excel打开乱码问题 public static File createCSVFile(List<?> exportData, LinkedHashMap map, String outPutPath, String fileName) { File csvFi...
2020-04-18 14:35:29
196
转载 访问HDFS报错：org.apache.hadoop.security.AccessControlException: Permission denied
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.util.Properties;public class TestHDFS { public static void main...
2020-03-17 17:39:51
151
原创 SparkSql 写数据库updata操作
仅用作自己做笔记，保存代码import org.apache.commons.lang.StringUtilsimport org.apache.log4j.{Level, Logger}import org.apache.spark.broadcast.Broadcastimport org.apache.spark.internal.Loggingimport org.apache....
2020-03-03 16:04:32
511
原创 SQL学习记录
SELECT vin, ROUND( SUM( CASE WHEN indicators IN ( 0, 1, 2, 3, 4, 5, 6 ) THEN percent END )/ COUNT( DISTINCT stat_day ), 2 ) AS lowRpm, ROUND( SUM( CASE WHEN indicators IN ( 7, 8, 9 ) THEN per...
2020-02-27 16:14:05
143
原创 es GroupBy 分组，按天、周、月
1、sql样例select max(price) as max_price,avg(price) as avg_price from product_index group by created_date_time;2、用代码生成数据 private static void batchCreate(TransportClient transportClient) throws IO...
2020-02-27 15:17:09
4258
6
原创 Homebrew(brew)安装MySQL@5.7及配置
Homebrew(brew)安装MySQL@5.7及配置查找并确定自己需要安装的版本brew search mysql可以看到brew在安装的时候已经初始过mysql了(不用再像网上说的再执行mysql_install_db命令)，且当前没有密码于是我按照它的提示，执行命令：mysql_secure_installation按照提示设置密码即可启动lucene:homebrew l...
2020-01-16 13:27:45
801
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人