- 博客(62)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 调用钉钉API发送消息通知给个人或部门
先让公司行政将你设置为管理员：需要拥有的权限为：工作台管理,开发者权限。登录钉钉管理后台：https://oa.dingtalk.com首先，在开发者账号管理中添加ip白名单https://open-dev.dingtalk.com/开发者信息》开发者账号管理：本企业开发授权：编辑然后创建应用选择工作台》自建应用先创建应用完成后查看信息申请好后可通过下面项目进行测试ht...
2020-07-31 17:11:35
9507
转载 Hive学习之路 （三）Hive元数据信息对应MySQL数据库表
目录概述 一、存储Hive版本的元数据表（VERSION） 二、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS） 1、DBS 2、DATABASE_PARAMS 三、Hive表和视图相关的元数据表 1、TBLS 2、TABLE_PARAMS 3、TBL_PRIVS 四、Hive文件存储信息相关的元数据表 1、SDS 2、SD_PARAMS 3、SERDES 4、SERDE_PARAMS 五、Hive表字段相关的元...
2020-07-30 15:21:39
332
转载 IDEA安装sbt插件，导入sbt项目
一.Idea中下载Sbt插件：导入sbt项目一定要下载sbt插件，否则导入进去的整个项目都会有问题。下载sbt插件方法是：第一种：（1）进入Preference（mac下快捷键是command+，），选择Plugins，页面如下图：（2）选择Install JetBrains plugin，然后输入sbt，安装scala。如图所示，没安装的情况下按钮是install。（3）安装完成后，重启一下IDEA。还有一种情况是IDEA内无法直接下载scala插件。可以...
2020-07-30 10:10:46
2273
转载 Error:java: Compilation failed: internal java compiler error 解决办法
错误现象使用Idea导入新项目或升级idea或新建项目时会出现以下异常信息：Error:java: Compilation failed: internal java compiler error 1错误原因导致这个错误的原因主要是因为jdk版本问题，此处有两个原因，一个是编译版本不匹配，一个是当前项目jdk版本不支持。查看项目的jdkFile ->Project Structure->Project Settings ->Project或使用快...
2020-07-29 18:36:13
513
转载 MYSQL中replace into的用法
新建一个test表，三个字段，id，title，uid, id是自增的主键，uid是唯一索引；插入两条数据insert into test(title,uid) VALUES ('123465','1001');insert into test(title,uid) VALUES ('123465','1002');执行单条插入数据可以看到，执行结果如下：[SQL]insert into test(title,uid) VALUES ('123465','1001')...
2020-07-29 18:34:01
144
原创 【权威详解】网上自提公积金全攻略：一两个工作日就到账！
https://mp.weixin.qq.com/s?__biz=MzU1MDUwNDE2Nw==&mid=2247494204&idx=1&sn=51b60c45bc11ce9fa181db8363c69f69&chksm=fb9d39b4cceab0a246b57ffdedfa2d3bfbde521aa5946a436c4cc63fc7983d76e8e5b6020e87&mpshare=1&scene=1&srcid=01134sZTbMi...
2020-07-29 18:19:48
275
转载 详解矩阵乘法中的Strassen算法
机器学习中需要训练大量数据，涉及大量复杂运算，例如卷积、矩阵等。这些复杂运算不仅多，而且每次计算的数据量很大，如果能针对这些运算进行优化，可以大幅提高性能。一、矩阵乘法如下图所示：Figure 1 Matrix Multiplication二、Strassen算法Figure 2 x^3 vs. x^2.807三、Strassen原理详解Strassen算法正是从这个角度出发，实现了降低算法复杂度！实现步骤可以分为以下4步：3.1 S...
2020-07-29 10:52:46
8452
2
转载 算法导论第4章strassen算法JAVA实现
今天看了strassen算法，用java实现了一下。另外题目4.2-3，如何修改Strassen算法，使之适应矩阵规模n不是2的幂的情况？答：添加额外的行或列使之成为2的幂的方阵，添加的行或列均为0即可。文章中提到在分解矩阵时使用复杂度为θ(1)的下标运算，本人为了方便，是采用拷贝赋值的方式进行的矩阵分解。package answers.chapter04;import java.util.Arrays;public class MatrixMultiply ...
2020-07-29 09:06:20
470
转载 一条sql语句添加多个字段
Forbiden: Merge the alter statement for table 'app_info' to ONE.需要给表中添加两个字段，之前写了两句：alter table app_info add software_copy_right text comment "软著地址";alter table app_info add qualifications text comment "特殊资质列表地址，图片类型";如何把alter操作合并为一条sql语句：alter t..
2020-07-28 18:19:57
6718
转载 009-矩阵乘法-分治法-《算法设计技巧与分析》M.H.A学习笔记
A、B是两个n*n的矩阵，计算C=A*B。传统算法：按照下面公式计算，需要n3次乘法和n3-n2次加法，时间复杂度为Θ(n3)。递归算法：假定n为2的幂，将A、B、C分成4个大小为(n/2)*(n/2)的子矩阵。用分治法来计算C。需要8次(n/2)*(n/2)矩阵的乘法和4次(n/2)*(n/2)矩阵的加法，其中乘法是原来的1/8倍消费，加法是原来的1/4倍耗费。用m表示n=1是乘法的耗费，用a表示加法的耗费。于是有了下面的递推式：可以推出：同样需要n3次乘法和.
2020-07-27 22:23:16
731
转载 应聘3万的职位，有必要这么刁难我么。。。沙雕。。。
又一次被面试官带到坑里面了。面试官：springmvc用过么？我：用过啊，经常用呢面试官：springmvc中为什么需要用父子容器？我：嗯。。。没听明白你说的什么。面试官：就是controller层交给一个spring容器加载，其他的service和dao层交给另外一个spring容器加载，web.xml中有这块配置，这两个容器组成了父子容器的关系。我：哦，原来是这块啊，我想起来了，我看大家都这么用，所以我也这么用面试官：有没有考虑过为什么？我：我在网上看大家都这么用，所以.
2020-07-27 11:47:11
162
转载 面试题：实现两个N*N矩阵的乘法，矩阵由一维数组表示
实现两个N*N矩阵的乘法，矩阵由一维数组表示代码如下：//实现两个N*N矩阵的乘法，矩阵由一维数组表示。#include<iostream>using namespace std;#define size 2int *multi(int *a, int *b, int N){ int i, j, k, temp; int *c = (int *)malloc(N*N); //动态内存分配，malloc函数向系统申请分配制定size个字节的内存空间...
2020-07-27 09:48:51
631
转载 记一道数据结构面试题
有两个N*N的矩阵A和B，想要在PC上按矩阵乘法基本算法编程实现计算A*B。假设N较大，本机内存也很大，可以存下A、B和结果矩阵。那么，为了计算速度，A和B在内存中应该如何存储（按行存指先存储第一行，再第二行，直到最后一行；按列存指先存储第一列，再第二列，直到最后一列）？ A按行存，B按行存。 A按行存，B按列存。 A按列存，B按行存。 A按列存，B按列存。 想要在PC上按矩阵乘法基本算法编程实现计算A*B，所以有可知是基本行列算法（本人数...
2020-07-27 09:36:19
325
转载 实现两个N*N矩阵的乘法，矩阵由一维数组表示
1. 简述 注意下标、参数传递。只要把二维中下标，转化为一维数组的下标即可。2. 核心代码 二维的公式是：c[i][j] += a[i][k] * b[k][j], k=0,1,2,...,N-1 一维的公式： c[i*N+j] += a[i*N+k] * b[k*N+j], k=0,1,2,...,N-1template<classT>voidMaxtrixMultiply(constT*a,constT*b,T*c,uns...
2020-07-27 09:05:01
2464
转载 OLAP和OLTP的区别
OLAP（On-LineAnalytical Processing）联机分析处理，也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。应用在数据仓库，使用对象是决策者。OLAP系统强调的是数据分析，响应速度要求没那么高。OLTP（On-Line Transaction Processing）联机事务处理，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。它具有FASMI...
2020-07-24 16:50:42
986
转载 MySql 中当表的列名为关键字时候的处理方式
MySql 中当表的列名为关键字时候的处理方式其实用MySQL建表或者像其中插入数据的时候碰到列名为关键字如（order，role…）等，自己踩了挺多坑的，但是一旦去修改表的列名又感觉相当的麻烦，并且会引起许多的错误，网上百度也大多数告诉我们尽量去避免，确实平常我们所熟知的关键字就尽量去避免不要去用，但是一旦一不小心踩到了，也有方法解决！比如:INSERT INTO order VALUES (‘test’, ‘test’);报错：1064 - You have an error in your.
2020-07-24 15:08:44
1485
转载 insert语句遇到字段名称为关键字
若遇到字段名称为关键字，则给字段名添加双引号。例如：insert into sys_user (USER_ID, USERNAME, "PASSWORD", "NAME") values('0004', 'admin', 'f379eaf3c831b04de153469d1bec345e', 'test');
2020-07-24 15:07:47
1332
转载 Spark:读取mysql数据作为DataFrame
在日常工作中，有时候需要读取mysql的数据作为DataFrame数据源进行后期的Spark处理,Spark自带了一些方法供我们使用，读取mysql我们可以直接使用表的结构信息，而不需要自己再去定义每个字段信息。下面是我的实现方式。1.mysql的信息：mysql的信息我保存在了外部的配置文件，这样方便后续的配置添加。1 mysql的信息我保存在了外部的配置文件，这样方便后续的配置添加。2 //配置文件示例：3 [hdfs@iptve2e03 tmp_lillcol]$ cat...
2020-07-24 15:06:29
596
转载 分治——最近点对问题
利用分治方法的经典问题——最近点对问题（Closest pair of points problem）问题描述n个点在公共空间中，求出所有点对的欧几里得距离最小的点对。问题分析该题直观的解决方法便是Brute Force(暴力求解)。时间复杂度为O（n2） O（n^2）O（n2）。minDist = infinityfor i = 1 to length(P) - 1for j = i + 1 to length(P) let p = P[i], q = P[j]...
2020-07-22 22:54:13
700
转载 Java实现算法导论中最近点对问题分治法
最近点对问题：给定平面上的N个点，找出距离最近的两个点。分治法：1 ）如果数组长度(即点的个数，一般≤3)在一定范围内时直接求出最近点，蛮力求解，递归退出条件；2）求出这些点的X坐标的中位数mid3）以mid为界将所有点分为两组，分表放在表T1、T2中4）将T1、T2表转换为数组S1、S2，并将S1、S2分别按X坐标升序排列5）求S1中的点的最近距离...
2020-07-22 22:37:00
1425
转载 利用 druid 的 sql parser 模块解析 sql 语句获得表名
版权druid 是阿里开源在 github 上面的数据库连接池，里面有一个专门解析 sql 语句的模块。源码位置：https://github.com/alibaba/druidSQL Parser 模块的介绍：https://github.com/alibaba/druid/wiki/SQL-Parser相关 API：http://tool.oschina.net/apidocs/apidoc?api=druid0.26druid 使用说明：druid 现在已经直接发布到了 maven .
2020-07-22 17:24:18
2937
转载 ElasticSearch之CURL操作
CURL的操作 curl是利用URL语法在命令行方式下工作的开源文件传输工具，使用url可以简单实现常见的get/post请求。简单的认为是可以在命令行下面访问url的一个工具。在centos的默认库里面是有curl工具的，如果没有请yum安装即可。curl-X 指定http的请求方法有 HEAD GET POST PUT DELETE-d 指定要传输的数据-H 指定http请求头信息liulanES服务器： curl -XGET http://master:9200 <...
2020-07-22 15:03:42
2322
转载 获取impala下所有的数据库建表语句
本博文介绍三种方法，推荐使用第三种，前两种都是尝试。方法一：现在的导出还是有缺陷的，导出的文件中还是存在其他不必要的信息#!/bin/bash##获取数据库databases=$(hive -e "show databases; exit;") for database in $databases;do #获取hive建表语句 tables=$(hive -e "use $database; show tables;") for...
2020-07-21 18:46:48
3297
1
转载 hive数据库中所有库、表信息的导出
1、进入到hive的安装目录下的conf目录，$ cd /xxx/hive/conf2、在conf目录下找到hive-site.xml文件 ，$ vi hive-site.xml 3、找到hive配置元数据的服务器和数据库 ，master下hive库<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://master:...
2020-07-20 17:49:40
1949
转载 java.lang.NoSuchMethodError: scala.runtime.ObjectRef.create(Ljava/lang/Object；)Lscala/runtime/Object
在使用spark进行开发时，本地运行成功，但是上传到集群发生如下错误：java.lang.NoSuchMethodError: scala.runtime.ObjectRef.create(Ljava/lang/Object;)Lscala/runtime/ObjectRef;此问题是由于本地编译时用到的scala版本和Spark集群所用Scala版本不一致导致的，可以通过修改本地scala版本号进行解决。打开Spark Job监控页面，默认端口是4040，点击environment，可以查.
2020-07-20 14:16:23
843
转载 基于TextRank的关键词、短语、摘要提取
关于自动文摘利用计算机将大量的文本进行处理，产生简洁、精炼内容的过程就是文本摘要，人们可通过阅读摘要来把握文本主要内容，这不仅大大节省时间，更提高阅读效率。但人工摘要耗时又耗力，已不能满足日益增长的信息需求，因此借助计算机进行文本处理的自动文摘应运而生。近年来，自动文摘、信息检索、信息过滤、机器识别、等研究已成为了人们关注的热点。自动文摘（Automatic Summarization）的方法主要有两种：Extraction和Abstraction。其中Extraction是抽取式自动文摘方法，.
2020-07-17 18:00:31
611
转载 Mysql修改字段名、修改字段类型
1、修改字段类型、字段名、字段注释、类型长度、字段默认值mysql修改字段类型： --能修改字段类型、类型长度、默认值、注释--对某字段进行修改ALTER TABLE 表名 MODIFY [COLUMN] 字段名 新数据类型 新类型长度 新默认值 新注释; -- COLUMN关键字可以省略不写 alter table table1 modify column column1 decimal(10,1) DEFAULT NULL COMMENT '注释'; --...
2020-07-17 15:30:58
4450
转载 mysql中float、double、decimal的区别
float类型表示单精度浮点数值，double类型表示双精度浮点数值，float和double都是浮点型，而decimal是定点型；MySQL 浮点型和定点型可以用类型名称后加（M，D）来表示，M表示该值的总共长度，D表示小数点后面的长度，M和D又称为精度和标度，如float(5,2)的 可显示为999.99，MySQL保存值时会进行四舍五入，如果插入999.009，则结果为999.01。float和double在不指定精度时，默认会按照实际的精度来显示，而DECIMAL在不指定精度时，默认整数为.
2020-07-17 15:28:50
422
转载 【TextRank】关键词提取 算法原理 公式推导 源码分析
1.前言在介绍TextRank前，我想先给大家介绍下PageRank，实质上个人认为可以把TextRank当做PageRank2.0。谷歌的两位创始人的佩奇和布林，借鉴了学术界评判学术论文重要性的通用方法，“那就是看论文的引用次数”。由此想到网页的重要性也可以根据这种方法来评价。于是PageRank的核心思想就诞生了：如果一个网页被很多其他网页链接到的话说明这个网页比较重要，也就是PageRank值会相对较高如果一个PageRank值很高的网页链接到一个其他的网页，那么被链接到...
2020-07-17 14:35:37
1325
转载 TextRank算法解析和scala代码实现
一．TextRank算法介绍TextRank算法想对来说，其实是很简单的一个算法。算法的流程类似Kleinberg的HITS算法，google的PageRank算法，不得不说是google的pageRank算法的出现引发了搜索引擎的一次变革。PageRank算法成功运用到互联网上来评估网页的重要性，当用户搜索时，返回与搜索问题相关又又质量的网页。TextRank算法可以说借鉴了pageRank算法的思想，也非常成功得运用到文章的引文提取，关键词提取上。当然一个单纯的算法提取关键词，可能效果并不那么如意..
2020-07-17 14:00:06
469
转载 TextRank Spark 实现
#! -*- coding:utf-8 -*-import osimport sysimport mathfrom pyspark import SparkContextfrom pyspark import StorageLevelfrom pyspark.conf import SparkConf#os.environ['PYSPARK_PYTHON'] = './pypy/bin/pypy'import numpy as npreload(sys)sys.setdefa..
2020-07-16 18:19:37
330
转载 Scala-breakable的用法
import util.control.Breaks._object test { def main(args: Array[String]): Unit = { /**breakable的用法 * 1、首先需要导入scala.util.control.Breaks._这个包 * 2、将需要通过breakable控制的代码放到breakable的大括号中 */ //相当于break，跳出整个循环 breakable{...
2020-07-16 17:47:14
985
转载 动手写代码——基于Spark的TextRank实现
TextRank是在Google的PageRank算法启发下，针对文本里的句子设计的权重算法，目标是自动摘要。它利用投票的原理，让每一个单词给它的邻居（术语称窗口）投赞成票，票的权重取决于自己的票数。这是一个“先有鸡还是先有蛋”的悖论，PageRank采用矩阵迭代收敛的方式解决了这个悖论。TextRank也不例外。更多关于TextRank的介绍，博主推荐码农场的文章：http://www.hankcs.com/nlp/textrank-algorithm-to-extract-the-keywords-j.
2020-07-16 17:31:12
217
转载 TextRank算法原理简析、代码实现
前言—PageRank注：PageRank原理另行查询 在介绍TextRank前，我想先给大家介绍下PageRank，实质上个人认为可以把TextRank当做PageRank2.0。 谷歌的两位创始人的佩奇和布林，借鉴了学术界评判学术论文重要性的通用方法，“那就是看论文的引用次数”。由此想到网页的重要性也可以根据这种方法来评价。于是PageRank的核心思想就诞生了：如果个网页被很多其他网页链接到的话说明这个网页比较重要，也就是PageRank值会相对较高...
2020-07-16 17:26:45
3479
转载 算法分析与设计——最近点对问题
【问题描述】最近对问题要求在包含有n个点的集合S中，找出距离最近的两个点。设 p1(x1,y1)，p2(x2,y2)，……，pn(xn,yn)是平面的n个点。严格地将，最近点对可能不止一对，此例输出一对即可。【基本算法思想】暴力法：在蛮力法实现最近点对问题中，将问题简化：距离最近的点对可能多于一对，找出一对即可，另外只考虑二维平面中的情况。此处考虑到直接用公式计算其距离（欧几里得距离）：通过遍历所有点集，计算出每一个点对的距离，计算出最近的距离并输出。避免同一对点计算两次，只考虑i&.
2020-07-15 22:57:04
2078
3
转载 我被炒鱿鱼了！
凌晨2点，正在做梦，突然接到了技术总监的电话：明天来公司收拾收拾，办理离职！说实话当时我头脑一片空白，直接懵了。第二天到公司，才知道我写的一段代码，昨天一天让公司损失了100多万，被定性为重大事故，导致了我直接被炒鱿鱼，而我的一些领导也受到了牵连，让我十分愧疚。这个业务应该很多人都会遇到，所以拿出来分享一下，避免大家踩坑。我们公司是做投资理财的，用户可以充值、投资、提现，充值这块是我做的，使用第三方支付进行充值，过程如下：step1：用户网站中输入充值金额step2：后端创建充值订.
2020-07-14 14:25:39
173
转载 图数据库neo4j集群中的读写及其一致性行为
背景知识为了更好说明neo4j集群中的读写及其一致性行为，有必要先对neo4j的部署模式，驱动，会话，事务等概念做下基本介绍。neo4j部署模式neo4j有3种部署模式，分别叫stand-alone instance（单机模式），HA cluster（高可用模式）和causal cluster（因果集群模式，本文简称为集群模式）。单机模式用于neo4j开源版本，后2种模式仅在neo4j企业版能够使用，高可用模式在neo4j早期版本上使用，新的neo4j企业版采用更加强大的集群模式。通过ne...
2020-07-14 14:22:28
1159
转载 如何查找僵尸进程并Kill之，杀不掉的要查看父进程并杀之
用ps和grep命令寻找僵尸进程#ps -A -ostat,ppid,pid,cmd | grep -e '^[Zz]'命令注解：-A 参数列出所有进程-o 自定义输出字段 我们设定显示字段为 stat（状态）, ppid（进程父id）, pid(进程id)，cmd（命令）这四个参数因为状态为 z或者Z的进程为僵尸进程，所以我们使用grep抓取stat状态为zZ进程运行结果参考如下Z 12334 12339 /path/cmd这时，我们可以使用 kill -HUP 12339来杀掉这个僵尸.
2020-07-14 09:02:46
714
转载 分治应用--最近点对问题 & POJ 3714
版权文章目录1. 问题描述2. 解题思路3. 实现代码4. POJ 37141. 问题描述二维平面上有n个点，如何快速计算出两个距离最近的点对？2. 解题思路暴力做法是，每个点与其他点去计算距离，取最小的出来，复杂度O(n2)采用分治算法将数据点按照 x 坐标排序，找到中位点，过中位点划线 x = mid_x 将数据分成2部分，递归划分，直到两个半边只有1个或者2个数据，只有1个数据点，最短距离返回无穷大，有2个点直接返回2点的距离合并左右两边的结果，取左右两边的最短距离的较.
2020-07-13 22:32:10
815
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人