- 博客(54)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 Linux系统编译安装Python 以python3.7为例
Linux系统编译安装Python 以python3.7为例下载源码包解压配置编译和安装下载源码包官方下载页面我这里下载的是Python 3.7.12，下载链接https://www.python.org/ftp/python/3.7.12/Python-3.7.12.tgz解压tar -xzvf Python-3.7.12.tgz配置cd Python-3.7.12./configure --prefix=/usr/local/python3.7 --enable-loadable-sq
2022-07-14 16:16:39
1842
原创 EC2（Ubuntu 18.04）安装Docker 和 Mongodb
文章目录一、安装Docker？二、安装mongodb一、安装Docker？# 为官方 Docker 存储库添加 GPG 密钥curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -# 将 Docker 存储库添加到 APT 源sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_r
2021-11-24 10:09:40
470
原创 EC2 ubuntu安装图形界面
EC2 ubuntu安装图形界面前言过程前言本来服务器上装图形界面就是挺浪费资源的事儿，但是最近在开发爬虫的过程中，遇到某个网站，chrome的headless模式就会被封(已经根据网上的一些文章修改了headless的一些特征)，无奈只能在服务器上暂时安装图形界面，以后再看有什么办法应对。 过程比较简单，稍微记录一下过程sudo apt update && sudo apt upgrade#ubuntu-desktop运行的时候稍微有点问题，所以安装了matesudo apt
2021-11-18 13:56:43
1350
原创 大数据基础篇: 二、EC2上部署Hive
系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例
2021-08-17 15:39:19
221
原创 大数据基础篇: 一、在EC2上搭建Hadoop环境
文章目录前言一、新建hadoop用户？二、设置主机名和hosts映射三、设置SSH免密登录总结前言新建3台EC2实例，三台EC2实例需要能够互相访问，此处不再赘述，EC2的系统我用的是ubuntu18。因为此文章只是做一些自己的记录，步骤我会尽量描述清除，但是不一定会把相应的命令都贴出来，如果不幸有新手读者看到这篇文章，可以针对相应的步骤去百度。一、新建hadoop用户？因为 hadoop 生态里肯定会用到 hadoop 用户，而我的EC2默认的用户是 ubuntu# 新建一个 hadoop
2021-08-16 09:48:47
807
1
原创 在EMR上部署kylin
在EMR上部署kylin前言一、环境？二、部署过程1. 安装2.设置环境变量3. 配置kylin3.1 配置kylin.sh问题汇总:参考文章提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、环境？二、部署过程1. 安装2.设置环境变量3. 配置kylin3.1 配置kylin.sh问题汇总:参考文章前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。
2021-08-09 17:43:16
169
原创 在EC2上利用squid搭建爬虫代理服务器
本文的命令是在ubuntu上运行的，其他操作系统类似1. 安装squidsudo apt-get updatesudo apt-get install squid2. 安装htpasswd，用于验证sudo apt-get install apache2-utils3. 创建访问代理的用户名密码：sudo mkdir /etc/squid/htpasswd -c /etc/squid/passwd xiaoming# 然后根据提示输入密码4. 验证用户名密码#
2020-12-07 10:43:11
687
原创 Illegal mix of collations (latin1_swedish_ci,IMPLICIT) and (utf8mb4_general_ci
报错太长，题目容不下：Illegal mix of collations (latin1_swedish_ci,IMPLICIT) and (utf8mb4_general_ci,COERCIBLE) for operation 'like'SET collation_connection = 'utf8_general_ci';ALTER DATABASE your_database_name CHARACTER SET utf8 COLLATE utf8_general_ci.
2020-10-20 17:27:25
1013
原创 SSH登录异常：Read from socket failed: Connection reset by peer.
别人访问我的主机时，报错：Read from socket failed: Connection reset by peer.网上一查，造成错误的原因有很多，试了好几个方法都不适合我，最后还是靠下面的方法解决的。大家遇到这种情况，也可以遵循先查看系统log定位问题再寻找对应解决方案的步骤来：1.查看系统log:# 注：我的系统的是ubuntu，使用如下第一条命令tail -f /var/log/auth.log# 如果是centos系统，请用请用下面的命令: tail -f /var/
2020-08-27 16:10:00
2512
原创 在Amazon EMR上安装mongodb 4.4及使用
[mongodb-org-4.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/amazon/2013.03/mongodb-org/4.4/x86_64/gpgcheck=1enabled=1gpgkey=https://www.mongodb.org/static/pgp/server-4.4.asc
2020-08-25 09:59:37
195
原创 如何理解Flink的Exactly-Once语义
1. 什么是Exactly-Once: 从字面上来说，就是确切一次，也就是保证消息只被消费一次(即使消费了多次，最终呈现出来的结果也要跟只消费一次一样)。2.3.CheckPointCheckpoint是Flink实现容错机制最核心的功能，它能够根据配置周期性地基于Stream中各个Operator/task的状态来生成快照，从而将这些状态数据定期持久化存储...
2020-04-14 17:11:39
368
原创 Maven使用笔记（通过编译Flink的过程发现原来配置maven挺重要的）
前言：今天在编译Flink的时候，一直失败，但是看网上的文章好像编译挺简单的，后来发现，其实是公司的网/国内的网不太行再加上我选择的maven远程仓库上缺了一些package。之前我使用的远程仓库是mvnrepository.com，国内访问的速度还行，但是package不全。比较全的应该是中央仓库，它的repository id 是central，这个是maven默认的，我们不必配置。但...
2020-03-25 15:18:13
868
原创 DynamoDB: AmazonDynamoDBException: The provided starting key does not match the range key predicate
机器翻译，这句话的意思是：提供的起始键与范围键谓词不匹配果断不知道在说什么，google之，找到一个链接DynamoDBで"The provided starting key does not match the range key predicate"とエラーが出た日文的，又机翻一次，大概是说，ExclusiveStartKey设置错了，但是我觉得我的ExclusiveStartKey没有...
2019-09-26 11:11:38
1142
原创 EC2上磁盘占用100%-"No space left on device"
背景:今天访问服务器某个接口的时候,报错了,接口返回的报错信息如下:{"timestamp":"2019-07-02T09:16:16.276+0000","status":500,"error":"Internal Server Error","message":"Failed to parse multipart servlet request; nested exception i...
2019-07-02 19:50:20
893
原创 SpringBoot LogBack使用记录(未完待续)
一.slf4j log4j logback三者的关系slf4j,The Simple Logging Facade for Java. 它是一系列的日志接口.log4j和logback是日志接口的实现. 但是log4j遵循slf4j接口, logback遵循slf4j接口.而且logback拥有更好的性能. springboot默认使用logback作为日志框架.二. springb...
2019-06-15 11:05:28
317
原创 swagger使用记录
1. 自定义下拉列表@ApiImplicitParam注解和@ApiModelProperty注解中都有allowableValues属性, 都可以产生下拉列表.不同之处在于:1. @ApiImplicitParam注解中allowableValues生成下拉列表的顺序在其他类型产生的下拉列表之后,会覆盖其他类型产生的下拉列表,如enum类. 而@ApiModelProperty注...
2019-06-10 20:14:09
729
原创 Spring静态注入的方法(包括工具类中Bean的注入)
这里介绍的只是一种我自己比较好用的做法。因为刚好项目上用到，所以就记录一下。背景：因为在实际的应用中，我们的开发环境跟生产环境总是有些不同的，比如在某些工具类里面，我们可能需要用到不同的参数，因为工具类的方法是静态的，因此需要一些变量也是静态的。比如我项目中开发环境用的S3跟生产中的S3是不同的，因此需要不同的accessKey，secretKey。所以不可以写死，因此需要配置开发的配置和生产...
2019-03-22 15:24:06
949
原创 SpringBoot 打包jar包时，跳过单元测试
在SpringBoot项目中，默认在mvn install 的时候会把test 目录下的测试单元走一边。如果我们使用了spring-boot-maven-plugin即项目中引入了 <build> <plugins> <plugin> <groupId>org.springframework.boot</groupI...
2019-03-14 10:19:02
3010
原创 Java代码调用本地shell命令或shell脚本
1. 概述：java.lang包下有一个Runtime类，是一个封装了JVM进程的类。每一个JAVA程序实际上都是启动了一个JVM进程，那么每一个进程都是对应这一个Runtime实例，其实例是由JVM为其初始化的。该类有一个方法，exec()，我们就是使用该方法来调用shell命令的。2. exec方法的说明：Runtime.getRuntime().exec（）方法主要用于执行外部的...
2018-11-12 16:35:21
2830
原创 MySQL 简单权限控制(授予某个用户执行某一个存储过程的权限)
1. 查看某个用户的权限：假设我有的MySQL数据库只有一个用户，名为root列出所有用户:select concat('user:''',user,'''@''',host,''',') as quary from mysql.user;或者更直接的写法：select user,host from mysql.user;示例结果：+--------------...
2018-11-01 15:42:36
9227
原创 两表关联做关联查询，取满足某些条件的最新的数据
需求: project_info表（别名info表）与project_info_comment （别名com表）是1对多的关系，info表的autoId与com表task_id相关联，当info表中task_no不等于null，status=postponed或者status=closed 时 且 com表的create_time为最新时，找出info.task_no,info.status,co...
2018-10-23 14:57:12
2164
原创 安装Jebel激活服务器(Docker方式)
安装Docker1. 如果安装过旧版的docker（旧版的docker包叫做docker，新版的叫做docker-ce）, 如果没安装过可以跳过sudo apt-get remove docker docker-engine docker.io2. 更新Ubuntu的软件源：sudo apt-get update3. 因为安装时下载软件包是通过https协议，所以需要安装...
2018-10-12 14:51:27
627
原创 解决Ubuntu下IDEA 无法锁定到启动器的问题
一般安装的软件的启动图标都放在/usr/share/applications,通过解压得到的软件的启动图标放在~/.local/share/applications下IDEA属于后一种方式。1. 我们进入~/.local/share/applications目录cd ~/.local/share/applications2. 在该目录下创建一个.desktop文件，比如idea....
2018-10-09 11:40:32
1787
原创 could not extract ResultSet
今天遇到一个很奇怪的问题：org.hibernate.exception.SQLGrammarException: could not extract ResultSet 一般来说，这个错误是由于数据库的字段名跟hibernate的配置不一致导致的，比方说，实体类中配置了aaaa，但是在数据库中没有配置，在查询的时候就会出现这个问题。 我遇到的问题是，我用关...
2018-09-30 10:56:58
66648
4
原创 Ubuntu 设置双网卡，实现内外网同时可用
背景不说了，网上的教程查过之后感觉写的都挺复杂的，遂抛弃之。在Windows下，如果要设置内外网同时可用，只需要两条命令:#内外网连接上后，此时内外网的默认网关同时存在 #1、清除两个默认网关 #2、添加默认网关为外网网关 #3、添加内网路由 route delete 0.0.0.0 route add -p 0.0.0.0 mask 0.0.0.0 192.92.4...
2018-09-29 19:43:38
44942
9
原创 Batch update returned unexpected row count from update [0]; actual row count: 0;
产生这个错误的原因比较多，我遇到的问题是缓存的对象不一致导致的。比方说，第一次从数据库查询出userEneity1，然后set了两个属性，之后还未进行update，就再从数据库查询一次这个对象，这个时候就会导致同一个实体在缓存中的数据不一致，然后就导致了这个错误。一开始的代码，错误的产生在第三行，第三行的generateOrganizeNo()去缓存中查询了此处被set的organizat...
2018-09-03 10:35:36
1813
原创 MySQL 删除列时程序无响应、锁表
在命令行下登录mysql服务器:mysql -uroot -p123456;列出当前的所有process show full processlist;显示的大致如下+------+-------------+---------------------+--------------------------+-------------+--------+-----------...
2018-08-31 15:13:21
699
原创 使用HashSet去重
在发邮件的功能里，往往需要对收件邮箱列表进行去重，防止重复向一个地址发送多次邮件。假如 toEmails的值是123@qq.com;123@qq.com;abc@163.com; String toEmails = "123@qq.com;123@qq.com;abc@163.com;" //转化为list集合 Str...
2018-07-17 16:47:16
1081
原创 Ubuntu实用快捷键（不定时更新）
1. 打开终端 Ctrl + Alt +T 2. 显示文件夹隐藏文件 Ctrl + H3.文件管理器上的路径按钮变为地址栏 Ctrl + L （按Esc则退出）4. 将某个文件夹设置为书签，从而可以快速访问: ctrl + D...
2018-05-23 14:14:16
150
原创 IDEA导入Maven项目的问题记录
1. 导入maven项目后，一堆的依赖出现红色波浪线 maven的setting文件出错，本地仓库位置有问题。网上也有人是因为idea自己本身的bug，重新删除dependency，保存然后恢复就不会报错了。2. 部分dependency报错，而且是关于jdk版本的错误，而且idea时不时就update indices时间很长 清理idea的caches：在file》 参见：I...
2018-05-10 10:31:23
1243
原创 ubuntu14.04LTS下搜狗输入法问题汇总 (搜狗输入法崩溃，搜狗输入法候选区乱码，没有搜狗输入法皮肤)
搜狗输入法崩溃了，我也很崩溃，根据提示删除了SogouPY文件夹，甚至.config下的SogouPY.users 还有sogou-qimpanel文件夹，然后重启系统都不行。重新安装过fcitx还有搜狗输入法后，经过一段时间又出现同样的问题。目前的解决办法是，卸载fcitx和搜狗输入法后，重新安装，然后配置~/.xprofile文件(参考：https://fcitx-im.org/wiki/C...
2018-05-02 11:04:44
1568
原创 Could not create disk store. Initial cause was null
hibernate配置二级缓存的时候，报错C:\Java\jdk1.8.0_151\bin\java -ea -Didea.test.cyclic.buffer.size=1048576 "-javaagent:C:\Program Files\JetBrains\IDEA\lib\idea_rt.jar=1988:C:\Program Files\JetBrains\IDEA\bin
2017-12-01 21:14:07
1990
原创 object references an unsaved transient instance - save the transient instance before flushing
今天在测试hibernate的时候，发生了object references an unsaved transient instance - save the transient instance before flushing: com.aaa.bean.Tutor这样的错误。一般来说，这样的错误还是挺常见的。但是问题恰恰出现在不常见的地方。先贴配置文件和测试代码：
2017-11-30 21:33:34
18013
原创 IDEA debug模式下默认会调用变量的toString()方法
在测试hibernate中session的load方法时，发现怎么也没办法跟理论的情况一致。load(User.class,2) 表示到数据库user表查询主键为2的数据记录，并将其封装到user对象中返回。但是，要等到我们用到user对象的时候才会真正去查询数据库。实现的原理就是代理。但是在debug的时候，总是运行完load()方法，log中就出现查询数据库的语句。这不就是跟get方法
2017-11-30 15:16:08
2996
原创 hibernate 中的Inverse Cascade
inverse 原意：反转。这里理解为让对方做事。也就是inverse=true关系让对方维护，为false为双方维护。多对多中维护的意思就是增加或者更新实体记录时，是否增加或者更新关系表的记录（当然，此时要求对象中要有set集合，这样才有意义）。一对多中，是否是表示在多的一方表中增加记录，在多对多关系中，cascade表示是否在子表中创建或更新记录（也就是cascade涉及实体记录），而
2017-11-29 15:58:14
334
原创 jrebel Could not find agent library/Can't load IA 32-bit .dll on a AMD 64-bit platform
今天启动JReble的时候，一直启动不了，启动log:jrebel Could not find agent library/Can't load IA 32-bit .dll on a AMD 64-bit platform.平时用都好好的。查阅了网上的资料后发现，好像都没有好的解法，重启一下IDEA就OK了。。。。。
2017-11-26 08:51:57
3270
1
原创 常用IDEA快捷键 不定时更新
列模式 alt+shift+insert提取变量 ctrl+alt+v查看类结构 ctrl + h查看类的方法 ctrl + F12参数提示 ctrl + p解决错误、导包alt enter查找类文件 ctrl+n增加getter和setter alt+insert(我的笔记本上insert是Fn+PgDn)复制当前行到下一行ctrl+d删除当前行ctrl+y...
2017-11-23 21:43:43
254
原创 启动JRebel报错 Unable to ping server at localhost:1099
查阅了网上的一些资料如：https://stackoverflow.com/questions/19068977/intellij-cant-start-simple-web-application-unable-to-ping-server-at-localhost由于Tomcat默认关闭JMX功能，但JRebel需要jmx，所以导致jmx没启动，所以1099端口ping不通解决方法：
2017-11-23 17:19:33
2327
1
原创 刚接触IDEA遇到的一些问题 不定时更新
因为我是从MyEclipse转过来的，所以觉得有点不太习惯。一、部署web项目MyEclipse上部署Javaweb项目的时候，默认会把项目放到Tomcat目录下的webapp文件夹，但是IDEA不会。如果想要设置部署项目的位置，可以在Project Structure里修改IDEA使用测试单元时无法导包重启一下服务器，就可以访问我们的项目了。二、设置缩写（MyE
2017-11-21 20:46:23
367
原创 实用的Linux命令记录
1、新安装的Ubuntu没有给root用户配置密码，所以需要使用passwd命令来配置，但是passwd是需要管理员权限的，这里就要用sudo命令来执行passwdsudopasswdroot回车2、如果想要通过xshell等工具来ssh工具来连接Ubuntu虚拟机，那就要在Ubuntu上安装sshSudoapt-getinstallssh3、开机默认启用命令行模式...
2017-11-16 20:22:48
844
1
The Power of Less kindle 电子书
2016-11-13
《Rootkits--Windows内核的安全防护》.(Hoglund).[PDF]&ckook;
2013-03-17
《Rootkits--Windows内核的安全防护》.(Hoglund).[PDF]&ckook;
2013-03-17
全国计算机二级C语言(完整复习资料)
2012-09-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人