- 博客(52)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 cookie和session介绍
cookie：（最大4kb）缓存信息1）以键值对的形式存储在浏览器的缓存信息2）不能跨域，但是可以被当前及其父级域名获取3）可以设置有效期和pathsession：1）以键值对的形成存在的，基于服务器内存的非持久化缓存信息，可保存请求会话2）每个session通过sessionid来区分不同请求3）可以设置过期时间...
2021-12-12 19:57:56
382
原创 SVN错误：Previous operation has not finished；run “cleanup“ if it was interrupted.
问题分析：SVN报错以上错误，可能是修改本地的文件之前没有update，导致commit的时候产生冲突，致使SVN崩溃，陷入clean up 死循环。svn 的 operation是存放在 "work queue" 里的。而 "work queue" 是在内嵌数据库 wc.db 的 work_queue 表中的，使用嵌入式数据库sqlite，来查看数据表信息或者删除数据表信息。查看表数据：sqlite3 .svn/wc.db "select * from work_queue"sqli...
2021-08-23 16:52:18
279
原创 vue + element ui 中，select框实现可输可选功能
项目场景：vue + element ui 中，select框实现可输可选功能，原利用el-select的属性，添加filterable allow-create default-first-option即：<el-select v-model="dataForm.newData" placeholder="请选择或手动输入" filterable allow-create default-first-option clearable> <el-option .
2020-09-15 14:35:08
2981
1
原创 java项目整合scala项目打包（调用外部jar包）
一、引入外部jar包在用到外部jar包的时候，可以将jar包放入到本地的maven仓库，然后在pom.xml文件中添加相应的依赖即可。例如：有一个ipdatabase.zip项目文件。方法一：将ipdatabase.zip文件解压。cmd到达pom.xml文件。运行以下脚本即可。mvn install -DskipTests或者mvn install -Dmav...
2019-10-02 23:06:25
1208
原创 解决：IDEA不能识别*.js文件
在进行IDEA进行前端开发时，必不可少的会用到JavaScripts，在进行*.js文件时，发现其不识别，为文本样式。如下图所示：Setting--> Editor--> File Types -->JavaScript --> 填写 *.js这样.js文件就有相应的显示。...
2019-08-27 16:19:26
9442
原创 使用sql自动生成测试数据
在进行代码编写的时候，常常会用到大量的测试数据。手动的进行测试数据的编写费时费力，下面给大家介绍一个使用sql自动生成测试数据的方法。1）建立测试数据表CREATE TABLE `datatable` ( `id` int(11) NOT NULL AUTO_INCREMENT, `username` varchar(255) NOT NULL, `birthday` var...
2019-05-30 18:04:34
3302
原创 Spring Boot通过注解读取配置文件，并解决读取配置文件中文乱码问题
在编写Spring boot项目时，注解帮助我们简化了大量的代码量。现在给大家介绍一个通过注解读取配置文件的例子。配置文件：resources/config.properties内容如下：conf.plugin.key1=小米conf.plugin.key2=小明编写配置文件读取类：PluginConfig.java@Component@ConfigurationP...
2019-05-23 17:01:52
1177
原创 java 线程Thread同步synchronized使用
很多人都知道，在Java多线程编程中，有一个重要的关键字，synchronized。但是很多人看到这个东西会感到困惑：“都说同步机制是通过对象锁来实现的，但是这么一个关键字，到底有什么作用呢？”synchronized定义在方法中，保证在多线程运行此方法的时候，可以保证方法的逐步执行，即：当有线程占用此资源的时候，其他线程进行等待，当前一线程执行完，后一线程继续执行，从而保证数据的正确性。...
2019-05-21 10:15:57
531
原创 利用Anaconda3建立python2.7虚拟环境
据目前发展来讲，python3.x 使用率逐年上升，但是很多历史项目常常会用到python2.x，这就涉及到2.x和3.x的虚拟环境的切换。本文为大家介绍一个好的方法，在安装Anaconda3前提下，建立python2.7的虚拟环境。（window和linux操作基本一致）本文以window为例：// 快捷键win+R ，在运行窗口输入：cmd，打开dos命名行窗口// 创建虚拟环...
2019-05-09 10:29:37
7523
1
原创 sql去除某一字段重复的数据（去重）
已知一个person表，表中数据如下：需求是删除email相同的数据。该问题是传统的数据去重问题，可以采用row_number() over进行排序筛选，这里不进行详细介绍。再此介绍一个利用笛卡儿积的方法进行去重，该去重方法较为简单，现给大家进行介绍：DELETE p1 FROM person p1,person p2WHERE p1.email = p2.email...
2019-05-07 17:28:59
9328
原创 时间工具类DataUtils.java，通过输入开始时间和截至时间，获取之间的日期
在进行数据统计时，常常需要通过接收2个参数，起始时间和结束时间，获取2个时间之间的日期。例如：输入参数：2019-04-01，2019-04-10需要获取2个时间之间的日期：即：[2019-04-01,2019-04-02,2019-04-03,2019-04-04,2019-04-05,2019-04-06,2019-04-07,2019-04-08,2019-04-09,2019-0...
2019-05-05 11:16:00
1057
原创 maven项目不能打包scala代码
在建立maven项目时，遇到问题，只能对java代码的打包。此问题出现的原因时，在建立项目的时候，建立的时java的项目，后期进行scala的添加，但是在pom.xml中并没有出现scala代码的打包配置，导致只能进行java代码的打包。解决方法：在maven文件中，加入scala的打包配置。<!-- This plugin compiles Scala files --&...
2019-04-12 10:34:31
1723
原创 spark-shell进行换行代码的粘贴
在用spark-shell进行测试时，常常会遇到换行代码，或者想要统一将代码进行粘贴的情况。例如以下代码： val mysqlDF = spark.read.format("jdbc") .option("url", "jdbc:mysql://node1:3306") .option("dbtable", "fanyanyan.lianjia") ...
2019-04-11 15:45:38
2323
原创 java.sql.SQLException: Value '0000-00-00' can not be represented as java.sql.Date
在进行spark程序连接mysql数据库时，遇到以上问题。java.sql.SQLException: Value '0000-00-00' can not be represented as java.sql.Date在mysql数据库中有一个时间字段：timeinfo，异常值默认为“0000-00-00”问题代码如下： // hive和mysql关联使用 // ...
2019-04-11 15:34:17
252
原创 SecureCRT解决命令行无法退格/删除
在通过CRT进行spark-shell程序编码时，发现不能进行退格和删除。解决办法：进行SecureCRT的设置。Options --> Session OptionsTorminal --> Emulation --> Terminal(选择Linux)Terminal --> Mapped Keys --> 勾选（Backspace s...
2019-04-11 10:50:05
7923
原创 HBaseUtils操作工具类（java）
HBase操作工具类（java），具有获取表名（getTable）、存入数据（put）等功能。如果有需要，大家可以自行增加。1）在pom.xml中导入HBase依赖 <!-- HBase 依赖--> <dependency> <groupId>org.apache.hbase</group...
2019-03-21 16:50:03
1635
原创 error: object HBaseUtils is not a member of package com.spark.project.utils
问题描述：[ERROR] /Users/work/SparkStreamingProject/src/main/scala/com/spark/project/dao/BrowserClickCountDAO.scala:4: error: object HBaseUtils is not a memberof package com.ipark.project.utils问题分析...
2019-03-20 13:50:32
618
原创 解决：Exception in thread "main" java.lang.NoSuchMethodError
程序是一个scala编写的Spark Streaming程序，导入依赖spark 2.2.0 ，hadoop 2.8.2， hbase 1.2.6问题描述:Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.ha...
2019-03-19 17:57:55
6212
原创 ip地址解析（scala）
在日志处理过程中，常常会遇到ip地址的分析，就要涉及到ip地址解析为城市的操作。下面介绍2种方法：方法一：只能够进行中国的ip地址转换为城市的操作，国外的解析不是很实用。方法二：可以进行全球的ip地址的各项解析，解析城市、国家、经纬度等等。方法一：一个使用他人的源码来实现此功能的方法，希望能帮助有需要的人。步骤如下：1）将源码从github上下载下来$ git cl...
2019-03-15 18:44:24
2164
5
转载 文件名过长无法删除 问题解决（java）
文件名过长无法直接删除，可以采用java代码进行删除，亲测可用。建立java文件（DeleteLongFile.java）前提是建立好了java的开发环境。运行时，只需要修改文件路径即可import java.io.File;/** * 解决删除由于文件名过长，无法删除的问题 */public class DeleteLongFile { private st...
2019-03-14 11:08:32
1215
原创 IDEA禁止控制台日志输出
在进行代码编写时，现在流行的工具是IDEA，但是在测试的时候，控制台会输出大量的日志信息，影响测试。先介绍一种控制日志输出的方法：1）查验是否含有resources目录查看main目录下（如果用于测试，可以查看test目录），是否有resources目录如果没有，新建一个resources目录，将其设置为“Sources”类型在resources目录下，新建文件：log4j...
2019-03-13 17:10:20
11057
3
原创 Spark Streaming整合Kafka（scala）
Spark Streaming整合Kafka有两种方式：Receiver和Direct方式两种方式的区别？Receiver方式：接收固定时间间隔的数据（放在内存中的），使用Kafka高级的API，自动维护偏移量，达到固定的时间才进行处理，效率低并且容易丢失数据。Direct直连方式：相当于直接连接到Kafka的分区上，使用Kafka底层的API，效率高，需要自己维护偏移量。（常用）...
2019-03-13 15:59:20
546
原创 Spark Streaming整合Flume（scala）
Spark Streaming整合Flume有两种方式：（1）方式一：Push方式方法步骤：1）启动sparkstreaming作业2）启动flume agent3)）通过telnet输入数据1、Flume Agent的编写：$ vi $FLUME_HOME/conf/flume_push_streaming.confpush-agent.sources = net...
2019-03-12 18:35:36
225
原创 Spark Streaming和Spark SQL关联使用，实现词频统计（scala）
此实例为官网的整合实例，仅供参考。package com.fyy.spark.streamingimport org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSessionimport org.apache.spark.streaming.{Secon...
2019-03-12 15:40:22
447
原创 Spark Streaming实现词频计算将结果保存到Mysql数据库（scala）
Spark Streaming实现词频计算将结果保存到Mysql数据库（scala）实例。1）建立Mysql连接池(MysqlPool.scala)package com.fyy.spark.streamingimport java.sql.{Connection, DriverManager}import java.util/** * @Title: MysqlPoo...
2019-03-12 15:01:52
678
原创 Spark Streaming实现黑名单过滤（scala）
对于黑名单过滤，采用的是访问日志形成的DStreaml与黑名单列表形成的RDD进行left join的方式，进行过滤。步骤解读：日志列表：20190102,192.168.10.10120190102,192.168.10.10220190102,192.168.10.103将访问日志转换为相应的 DStream ==> (192.168.10.101:20190...
2019-03-12 14:13:07
1255
1
原创 idea中无法new scala文件
对于IDEA无法创建scala文件，分3步排除问题1）检查scala文件是否设置为source类型File-->Project Structure选择Modules-->Sources，然后展开目录，查验scala是否被设置成了Souces类型（变为蓝色）。如果未设置，选择scala文件，点击Sources即可进行设置。2) 查验是否安装了scala插件...
2019-03-11 17:54:26
1956
原创 IDEA显示maven视图
在IDEA进行项目开发时，在刚建立的项目中未发现maven视图。方法：View--> Tool Windows--> Maven如下图：后期在进行maven界面的查看时，可以在IDEA的右侧进行查找...
2019-03-11 14:55:10
10738
原创 kafka java api编程
1）创建kafka的topic（fyy_topic）/home/opt/kafka_2.11-0.10.2.2/bin/kafka-topics.sh --create --zookeeper 01.server.bd:2181,02.server.bd:2181,03.server.bd:2181 --replication-factor 3 --partitions 3 --topic f...
2019-03-08 18:32:45
876
原创 scala实现日志时间解析（[18/Nov/2018:00:00:17 +0000]）
在使用spark进行日志处理时，对于日志数据的时间格式，常常需要进行一定的转换，下面的代码是用scala实现日期解析工具类。package com.fyy.sparkimport java.util.{Date, Locale}import org.apache.commons.lang3.time.FastDateFormat/** * @Title: DateUtils...
2018-12-25 14:53:02
831
原创 window系统下，python 在虚拟环境中升级pip问题 Requirement already up-to-date: pip
在python中，遇到问题升级pip（从pip10.0，升级为18.0），显示已经为最新，如下所示：Requirement already up-to-date: pip in c:\users\administrator\python\venv\model\lib\site-packages (18.0)用pip -V 查看仍然是10.0版本。首先，我cmd命令进入到我的虚拟环境...
2018-09-21 15:49:07
3843
1
原创 mysql alter操作总结（修改表名，表结构，字段，索引，主键等）
为了清晰的理解和记忆mysql的alter操作，现在做一下简单的总结，希望对您有所帮助。本文涉及到的原始表：DROP TABLE IF EXISTS mysql_test;CREATE TABLE mysql_test( `id` bigint UNSIGNED NOT NULL AUTO_INCREMENT, `report_date` date NOT NULL, `c...
2018-09-20 12:02:53
2934
原创 mysql update join 实现数据的跨表批量更新
在mysql中update用的很多，一般大家所知道的就是传统的操作，如下：UPDATE [LOW_PRIORITY] [IGNORE] table_reference SET assignment_list [WHERE where_condition] [ORDER BY ...] [LIMIT row_count]下面给大家介绍一个小例子，实现跨表更新...
2018-09-20 10:43:15
2024
原创 python中pivot table 透视表实例
下面是python透视表的简单实例，希望对学习这一块的朋友们能够有所帮助。import pandas as pddef pivot_table(): data_df = pd.read_csv("data.csv") # 形成基础的成绩表 pivot_df = data_df.pivot(index='userNum', columns='subjectCode'...
2018-09-19 12:02:46
2781
1
原创 python 获取指定日期时间（例如：昨天，前天，前5天的日期，后3天的日期）
小知识，通过python获取指定日期的时间。可以利用偏移量这个小的知识点。代码如下：import datetime// 获取当前时间today = datetime.datetime.now()// 计算偏移量offset = datetime.timedelta(days=-2)// 获取想要的日期的时间re_date = (today + offset).strftime...
2018-09-18 14:22:24
18706
原创 shell 脚本实现行处理（sed、head、tail）
文本的行处理，在文本处理中至关重要，现遇到问题，去除文本末尾2行的数据。现将其相关的行处理方法，做简单的总结：sed实现显示行：sed -n '1'p filename // 显示filename第一行sed -n '$'p filename // 显示filename最后一行sed -n '1,3'p filename // 显示filename的第1行至第3行sed -n...
2018-07-23 12:09:09
7710
原创 mysql求累计报表问题
在报表问题中，累计报表是最基础、最普遍的一部分，最近有些朋友一直在询问。现写下简单的例子，供初学者学习使用。累计报表问题：求每人每月的总收入，及其累计(即本月及其以前月份的累计收入)收入；数据：username,month,salaryA,2018/01,5A,2018/01,15B,2018/01,5.2A,2018/01,8.7B,2018/01,25A,2018/...
2018-07-18 18:17:35
708
1
原创 mysql实现求每门课程的前3名
最近因为工作需要遇到此类问题，现简化思路，写一个简单的SQL实例。mysql中没有row number() over() 函数，对与求每科的前3名这类问题稍微复杂。希望对您能有所帮助。建表：DROP TABLE IF EXISTS score;CREATE TABLE score ( id int(10) NOT NULL AUTO_INCREMENT, subject_id...
2018-07-17 14:29:27
5240
1
软件开发文档范例
2018-09-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人