- 博客(81)
- 收藏
- 关注
RSS订阅原创 hive分组拓展函数（grouping sets、with cube、rollup）
（可以自定义，比如A,B,C，可以自己定义(A),(A,C),(B,C),(A,B,C)等等）
2023-07-04 11:25:02
260
原创 zsh学习小记
4.切换shell(bash和zsh工具之间切换)chsh -s /bin/bash 需要重启/新建窗口chsh -s /bin/zsh 需要重启/新建窗口解决chsh -s /bin/zsh命令切换失败sudo chsh -s /bin/zsh 输入密码回车，若不行使用方法2终端输入：dscl . -read /Users/$USER/ UserShellexec su - $USER然后在输入密码即可mac 安装brew/bin/bash -c "$(curl -fsSL http
2020-08-18 22:08:23
432
原创 Mac安装brew的正确打开方式（国内源）
最近由于Mac更新了，导致brew不能用了，遂重新安装一下。试了好多种办法，1. 直接用官网安装命令安装，因为网络资源的原因，电脑下载是龟速，实在是无法忍受，2.从GitHub上下载源码，复制到/usr/local/目录下， 3.下载brew_install.rb这个脚本。都不成功。后来，还改了hosts文件，也还是没成功。终于让我找到了一个大佬的帖子，直接运行下面这条命令就可以安装成功。/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/Homebr
2020-08-16 15:18:46
776
原创 python导包报错：attempted relative import beyond top-level package
错误代码如下："…“表示当前文件的上一层，虽然加上”…"后不会提示语法错误，但是运行程序的时候会出现相对导入错误的提示。解决方法：去掉"…"虽然会提示语法有问题，但程序是可以跑通的...
2020-07-21 09:08:28
705
原创 python读取MySQL数据使用pandas写入到csv，并保存列名
实现的功能：通过pymysql连接MySQL数据库，查询所需数据，然后使用pandas写入到csv文件，并且写入包含数据列名。import sysimport pandas as pdimport pymysqlimport time# 获取当前日期day=time.strftime("%Y-%m-%d")csv_path=sys.argv[1]host=sys.argv[2]user=sys.argv[3]password=sys.argv[4]db=sys.argv[5]
2020-07-17 14:02:20
2363
原创 Linux下安装nginx教程(Centos7)
1. 环境及准备环境：Centos7准备：确保系统中安装了gcc、pcre-devel、zlib-devel、openssl-devel。Linux下检查是否安装过某软件包：http://www.cnblogs.com/xxoome/p/5866553.html# 安装命令：yum -y install gcc pcre-devel zlib-devel openssl open...
2020-04-04 17:01:33
201
原创 解决python读取excel日期格式问题（日期变为数字，int变为double）
excel数据如下：读取excel# 读取excel文件excel_data = xlrd.open_workbook(excel_path)# 获取第一个sheet页sheet = excel_data.sheet_by_index(0)# 读取数据for i in range(0, rows): for j in range(0, cols): pr...
2020-03-11 17:29:26
6426
2
原创 通过python读取excel写入mysql
import pymysqlimport xlrdimport sysfrom xlrd import xldate_as_datetime# excel文件的路径excel_path=sys.argv[1]host=sys.argv[2]user=sys.argv[3]password=sys.argv[4]db=sys.argv[5]table=sys.argv[6]...
2020-03-11 17:05:37
581
原创 python3中不能使用urllib2解决办法
由于在python3.3后urllib2已经不能再用，只能用urllib.request来代替python2的代码import urllib2req = urlli2.Request(url, headers=header)res = urllib2.urlopen(req).read()python3的代码import urllib.requestreq = urllib...
2020-03-05 15:33:36
1573
原创 Python3爬虫增加点击量（慎用）
今天跟朋友谈起追星给偶像刷视频点击率的问题，就想到能不能用python来解决这个问题，试了一下，视频的点击率还是不太好整，勉勉强强用python3实现了给CSDN刷点击率的问题。因为一直用一个IP刷的话，很快就会被封号，这里找到一个代理IP的网站，https://www.xicidaili.com/，可以试着用里面的代理IP来刷，不过还是要注意最好休眠时间加大一点。附上代码from bs...
2020-03-05 15:27:11
1961
原创 Oracle中用desc查表结构报错 invalid sql statement
问题今天用oracle中使用‘desc tablename’查看表结构的时候，居然报错说‘invalid sql statement’，很奇怪，还以为自己搞错了，后来查资料才知道，‘desc tablename’这种查看表结构的方式只能在命令行模式（比如sqlplus或者pl/sql的命令模式）下才能使用，其他时候很少有命令模式，一般都是通过各种客户端连接的，这些客户端不是命令模式的，而是...
2020-03-03 11:55:05
5667
原创 Cannot find 'mainfest' in class org.apache.maven.archiver.MavenArchiveConfiguration
用idea打包的时候，出现了以下的错误：Failed to execute goal org.apache.maven.plugins:maven-assembly-plugin:2.2-beta-5:single (make-assembly) on project log-collector: Unable to parse configuration of mojo org.apache....
2020-02-25 17:51:33
2862
原创 python处理mp4视频提取音频转为mp3或者wav，并进行截取
mp4视频文件提取音频转为mp3或者wav文件mp3是有损文件，wav是无损文件，就像我测试的视频，mp3导出只有几十k，wav文件导出有3M多。from moviepy.editor import *video = VideoFileClip('aa.mp4')audio = video.audioaudio.write_audiofile('test.wav')audio...
2020-02-11 21:21:24
10534
5
原创 python读取excel生成HiveDDL
需求说明：数仓建模过程中，一般会在excel中先将数仓各层的表和字段都梳理好，然后再建表和开发。该程序可以方便的利用excel中的字段名、字段类型、字段描述等信息生成HiveDDL语句数据示例：输出示例：代码：import osimport sysimport xlrd# 要读取的excel的名称excel_name = sys.argv[1]# 存放ddl的目录...
2020-02-10 10:37:48
735
原创 python连接mysql获取表信息（表名、字段数、字段空值率）
功能说明：通过python连接mysql数据库，1. 获取当前库下所有表的名称 2. 获取每个表的记录行数 3. 查询每张表下每个字段的空值率（采用增量查询的方式，降低查询大表时的性能消耗）。输出形式：excel表格import mathimport sysimport pymysqlimport xlwtimport pandas as pd# 数据库信息host = sys...
2020-02-07 09:23:25
3499
4
原创 python3调用钉钉机器人读取mysql表的内容并发群通知
文章目录1. 开通钉钉机器人2. 程序说明2.1 参数说明2.2 功能及设计思路说明2.3 程序代码2.4 不足说明以及改进方法3. 常见错误1. 开通钉钉机器人需要首先在PC端开通钉钉机器人，打开想要开通的群聊 -> 群设置 -> 智能群助手 -> 添加机器人 -> 自定义对机器人进行设置（主要是安全设置）安全设置建议选择自定义关键字，最多可以设置10个关键...
2020-02-07 08:35:03
2185
1
原创 github高效搜索项目资源技巧
一般人搜索github资源都是直接在搜索框中输入关键词进行搜索，比如spring，python爬虫，搜索出来的项目数量看的人眼花缭乱，但是打开之后会发现一些可能只是在代码中提到了这个关键词，也被搜索出来了，无用项目太多。高效搜索方法就可以排上用场了。比如要搜索项目名称中包含 “爬虫” 的，就可以在搜索框中输入 “in:name 爬虫”，结果显而易见，比直接搜索的质量提高了不少。同理，如果想...
2020-01-08 17:01:03
271
原创 python 多个excel合并成多个sheet以及多个excel合并成一个sheet
最近有两个需求，第一是要求把指定目录下多个结构相同的excel合并为一个excel，每个excel都对应合并后的一个sheet；第二是要求把指定目录下多个结构相同的excel合并为一个sheet，并在合并后的sheet添加一列，标识数据来源与哪一个sheet，来自同一数据源的多行数据第一列要求合并单元格。多个excel合并的效果：import osimport pandas as p...
2019-12-12 16:16:01
10094
4
原创 海康威视大数据开发实习生面试总结（2019-08-13）
昨天晚上打电话说要进行电话面试，当时有点事不太方便就约了今天下午三点，三点半的时候面试官打电话过来（我以为面试官把我忘了，哭唧唧），感觉面试官还挺和蔼的。总结一下经验，为以后的找工作有个方向。自我介绍、项目介绍spark操作MongoDB还是怎么使用MongoDBScala使用的多吗？和Java比较Scala的伴生类和伴生对象Scala的特性Scala闭包RDD的概念与特...
2019-08-13 18:18:49
1486
2
原创 贝壳校招笔试编程题（2019.08.10）
1. 题目描述： * 给出n个正整数，要求找出相邻两个数字中差的绝对值最小的一对数字，如果有差的绝对值相同的，则输出最前面的一对数。 * * 2<n<=100，正整数都在10^16范围内 * * 输入 * 输入包含2行，第一行为n，第二行是n个用空格分隔的正整数。 * * 输出 * 输出包含一行两个正整数，要求按照原来的顺序输出 * * * 样例输入 * 9...
2019-08-10 20:49:17
535
原创 冒泡排序实现及其优化
所谓冒泡排序，就是每一趟都比较相邻两个数字，如果前一个数字大于后一个数字，就交换这两个数字，直到数字序列完全有序，这样排出来的数字序列是从小到大的。如果是前一个数字小于后一个数字发生交换，则排出来的序列是从大到小的。时间复杂度分析：若数字序列本来就是有序的，则只需一次扫描即可完成，时间复杂度为O(N)。若数字序列是反序排列的，则需要n-1次扫描，每次扫描都要进行n-i（0<i...
2019-08-06 10:38:19
159
原创 ES启动失败;java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.c
今天启动Elasticsearch的时候，报了 如下错误（非root用户启动）：2019-07-14 05:40:06,326 main ERROR Unable to invoke factory method in class org.apache.logging.log4j.core.appender.RollingFileAppender for element RollingFile:...
2019-07-14 18:09:46
4712
1
原创 Caused by: java.lang.NoClassDefFoundError: com/fasterxml/jackson/databind/exc/InvalidDefinitionExcep
Tomcat启动时报错：org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter': Instantiation ...
2019-07-14 16:41:59
3564
原创 Java多线程之线程中断
1. API1.1. void interrupt()中断线程，其实只是给线程一个中断标志，线程仍会继续运行。package com.ywq.concurrency.MyTest;public class TestInterrupt { public static void main(String[] args) { Thread t = new Thread...
2019-05-14 20:56:17
222
原创 Java中的守护线程学习笔记
1. 概念守护线程其实也是一个线程，它与用户线程的不同之处就在于它的生命周期，当程序中其他线程都结束时，守护线程就会结束自己的生命周期。只要程序中还有一个线程还没有结束，守护线程就会一直工作。守护线程中产生的新线程也是守护线程2. 守护线程的设置t.setDaemon(true);默认守护线程是false，需要程序员手动设置。值得注意的一点是，线程需要在start之前设置为守...
2019-05-12 22:18:40
185
原创 Java中跳出多重循环的三种方法
1. 利用标识变量定义一个标识变量，在每层循环中判断这个变量public class Test1 { public static boolean flag = true; //标识变量 public static int i = 1; public static int j = 1; public static void main(String[] a...
2019-05-08 11:10:25
8726
2
原创 com.mongodb.MongoSocketOpenException: Exception opening socket
本地连接虚拟机上的MongoDB失败，报错内容如下：Exception in thread "main" com.mongodb.MongoTimeoutException: Timed out after 30000 ms while waiting for a server that matches WritableServerSelector. Client view of cluster...
2019-04-20 17:10:18
7130
原创 Centos7下安装ElasticSearch及常见错误
文章目录1. 下载安装包并解压2. 配置3. 启动Elasticsearch4. 其他常见错误1. 下载安装包并解压下载地址或直接在虚拟机中输入：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.0.0-linux-x86_64.tar.gz解压tar -zxvf elas...
2019-04-15 09:14:34
548
2
原创 在Centos7虚拟机下安装redis
在虚拟机中下载：wget http://download.redis.io/releases/redis-4.0.8.tar.gz解压tar -zxvf redis-4.0.8.tar.gz进入安装目录，编译make配置redis.confvim /etc/redis.confdaemonize yes #是否以后台daemon方式运行，默...
2019-04-13 21:11:49
294
原创 Centos7下安装MongoDB并配置环境变量
1.下载对应版本的MongoDB并解压下载地址：https://www.mongodb.com/download-center/community可以直接在浏览器中下载然后传到虚拟机，或者在虚拟机中用wget命令下载# 下载wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.8.tgz# 解压t...
2019-04-13 16:24:07
2221
原创 LeetCode 136.Single Number 以及 异或的妙处
leetCode 136Given a non-empty array of integers, every element appears twice except for one. Find that single one.Note:Your algorithm should have a linear runtime complexity. Could you impleme...
2019-04-09 09:11:00
211
原创 Java设计模式之适配器模式
文章目录1. 什么是适配器模式2. 适配器模式的结构2.1. 目标（Target）2.2. 被适配者（Adaptee）2.3. 适配器（Adapter）3. 类图4. 代码描述4.1. 目标4.2. 被适配者4.3. 适配器4.4. 适配器模式的使用1. 什么是适配器模式适配器模式就是将一个类的接口转换成客户希望的另外一个接口。适配器模式使得原本由于接口不兼容而不能再一起工作的那些类现在可以...
2019-04-04 09:22:15
223
原创 Java web项目在本地运行正常，部署到服务器上运行出错报404
最近部署了自己之前做的项目到云服务器上，部署的时候发现本地运行的好好的项目居然报了404，其实也在情理之中啊，毕竟换了个环境，人还不适应呢，何况程序呢？可是，你到底哪里不舒服啊？检查：1. tomcat 成功开启2.它的端口也没有和其它服务的端口冲突3.确认访问路径，查看本机 host 中配置的信息也是正确的这时就很纳闷了，后经大神指导，才明白：项目在 idea 上运行的时...
2019-04-01 22:11:55
18452
6
原创 Java设计模式之观察者模式
文章目录1. 什么是观察者模式2. 观察者模式包含的角色2.1. Observer（抽象观察者角色）2.2. Subject（抽象被观察者角色（主题））2.3. ConcreteObserver（具体观察者角色）2.4. ConcreteSubject（具体被观察者角色）3. 类图4. 代码实现4.1. 抽象观察者4.2. 抽象被观察者4.3. 具体观察者4.4. 具体被观察者4.5. 测试类5....
2019-03-31 09:44:06
139
原创 Java设计模式之装饰者模式
文章目录1. 什么是装饰者模式2. 装饰者模式中都有什么角色2.1. 抽象组件（Component）2.2. 具体组件（ConcreteComponent）2.3. 抽象装饰者组件（Decorator）2.4. 具体装饰者组件（ConcreteDecorator）3. 类图4. 代码描述4.1. 抽象组件4.2. 具体组件4.3. 抽象装饰者组件4.4. 具体装饰组件4.5. 测试5. 使用多个装...
2019-03-26 20:50:19
218
原创 Java设计模式之单例模式
文章目录1. 什么是单例模式2. 单例模式的特点2.1. 只能有一个实例2.2. 它必须自行创建这个实例，并且用静态变量保存2.3.它必须自行向外部类提供这个实例3. 实现3.1. 饿汉式3.1. 直接实例化3.2. 枚举类型3.3. 静态代码块3.2. 懒汉式3.2.1. 延迟创建实例对象3.2.2. 线程安全的“懒汉模式”3.2.3. 双重检查3.2.4. 静态内部类式1. 什么是单例模式...
2019-03-22 19:19:34
207
原创 windows下搭建spark环境
文章目录0.前提1. 安装Scala1.1. 下载Scala1.2. 配置环境变量1.3. 验证2. 安装spark2.1. 下载spark2.2. 配置环境变量2.3. 验证spark是否能正常启动3. 安装hadoop3.1. 下载3.2. 安装3.3. 配置环境变量3.4. 安装hadoop winutils，3.5. 验证0.前提windows下搭建spark环境需要首先在本地安装J...
2019-03-17 09:03:44
200
原创 为什么重写equals()一定要重写hashCode()
1.Object类默认的equals()和hashCode()public boolean equals(Object obj) { return (this == obj);}public native int hashCode();这是不重写情况下Object类的equals()和hashCode()从Object的源码我们可以知道，默认的equals()判断的是两个...
2019-03-14 19:14:57
278
1
原创 hadoop启动后DataNode没有启动
由于一些原因，我对namenode进行过很多次格式化，格式化时删除了Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容 （注意是删除目录下的内容不是目录）重新格式化后启动hadoop，发现DataNode没有启动原因：当我们使用hadoop namenode -format格式化namenode时，会在nam...
2019-03-04 21:21:33
2469
1
原创 sqoop导入数据错误
用sqoop导入数据到hdfs时出现了错误，代码如下：bin/sqoop import --connect jdbc:mysql://slave2:3306/company --username root --password 123456 --table staff --target-dir /user/company --delete-target-dir --num-map...
2019-03-04 16:11:51
1000
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人