- 博客(29)
- 资源 (3)
- 收藏
- 关注
转载 git分支合并 - git merge 与 git rebase
本文搬运自github,如有侵权请联系编者删除;点击 原译文 查看原译文来源;点击 原文 查看图片来源及原始文章。由于原文图片已不可展示,故结合原译文出处,补充图片记录于此。正文如下:git rebase 这个命令经常被人认为是一种 Git 巫术,初学者应该避而远之。但如果使用得当的话,它能给你的团队开发省去太多烦恼。在这篇文章中,我们会比较 git rebase 和类似的 git merge 命令,找到 Git 工作流中 rebase 的所有用法。概述你要知道的第一件事是,git rebas
2021-02-07 16:52:25
641
原创 MongoDB批量upsert/save
package com.ott.demo.dao.mongo.batch;import com.alibaba.fastjson.JSON;import com.gooagoo.log.GooagooLog;import com.mongodb.BasicDBObject;import com.mongodb.CommandResult;import com.mongodb.DBCollection;import com.mongodb.DBObject;import org.springf
2020-12-09 17:26:06
2088
1
原创 MongoDB 批量更新/插入 即批量save或批量upsert 遇到的问题和解决方案
MongoDB 批量更新/插入 即批量save或批量upsert 遇到的问题和解决方案批量更新工具完成批量更新整个对象时候,因为没有$set符号导致异常,因此做了反射工具,再遍历字段去调用Update.set(k,v) 的方式去给字段赋值。(排除的字段目前是写死的,后续可以做成可配置)批量更新时,对象有个属性是List< Object > 这个列表内的对象在插入时报错,说无法序列化:java.lang.RuntimeException: json can't serialize t
2020-12-09 16:21:08
2555
原创 阿里云配置了域名后,域名和ip都能ping通,但是访问应用失败问题解决
阿里云配置了域名后,域名和ip都能ping通,但是访问应用失败问题解决阿里云配置了域名后,域名和ip都能ping通,但是访问应用失败; 但项目在本地启动成功,也能正常访问。解决:需要使ESC实例加入到安全组;参考文档:https://help.aliyun.com/document_detail/25443.html?spm=a2c4g.11186623.4.6.79d56160svdmPx这里要注意的是,如果直接从左侧的菜单栏找到“安全组”并设置了开放端口后,在添加实例的列表里是找不到自己当前的
2020-11-29 01:13:52
1960
1
原创 Spark example 源码通过idea打开,一直build 问题解决
问题描述:本机配置了maven环境变量,maven对应的setting.xml的mirrors配置了阿里云的仓库: <mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
2020-11-04 15:01:59
220
原创 git 登录多个代码托管平台
使用场景:在公司有内网的gitlab,同时需要登录github看其他项目。操作:添加密钥对在C:\Users${yourAccount}.ssh目录下运行git bash生成github账号:ssh-keygen -t rsa -C "myGithub@google.com"重命名生成的文件把生成的id_rsa改为github_rsa重复步骤1、2,更改参数生成gitlab信息,如:生成 gitlab账号:ssh-keygen -t rsa -C "myGitlab@go
2020-10-17 17:02:23
239
原创 SQL过滤与应用过滤如何选择
SQL过滤与应用过滤进行复杂查询的时候,数据可以通过SQL过滤,也可以在应用层进行过滤。应当优先采用哪一种过滤方式呢?通常来说,优化数据库后可以更快速有效的对数据进行过滤。使用客户端进行过滤的方法通常是:sql的select语句为客户端应用检索出超过实际所需的数据,然后客户端代码对返回数据进行循环提取出需要的行。使用客户端应用进行过滤时,有三个不好的影响:1.会极大的影响应用的性能2....
2020-03-21 20:10:40
756
原创 Intelij idea 自定义注释模板
1、Settings(Ctrl+Alt+S) -> Editor -> Live Templates -> 右侧加号 -> Live Template2、配置应用的位置,点击Define,选择Java3、填写 Abbreviation这里我的方法模板通常使用q,类模板使用w在模板中起始行是** 而不是 /**因此在使用是只需要输入 /q + Tab ...
2020-03-05 14:16:45
224
转载 git rebase 两个用法
作者:liqingbiubiu链接:https://www.jianshu.com/p/4a8f4af4e803来源:简书1.合并多个commit为一个完整commit当我们在本地仓库中提交了多次,在我们把本地提交push到公共仓库中之前,为了让提交记录更简洁明了,我们希望把如下分支B、C、D三个提交记录合并为一个完整的提交,然后再push到公共仓库。现在我们在测试分支上添加了四次提交...
2019-11-18 15:58:44
326
转载 git删除远程文件夹或文件的方法
项目开发初期由于.gitignore 文件配置不正确很有可能导致某些不需要的目录上传到 git 远程仓库上了,这样会导致每个开发者提交的时候这些文件每次都会不同。除了一开始提交的时候注意配置好 .gitignore 文件外,我们也需要了解下出现这种问题后的解决办法。具体操作步骤如下:1、预览将要删除的文件:git rm -r -n --cached 文件/文件夹名称 加上 -n 这个参数...
2019-08-26 16:14:47
340
原创 org.apache.ibatis.binding.BindingException: Parameter 'startTime' not found. Available parameters ar
org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.binding.BindingException: Parameter 'startTime' not found. Available parameters are [0, 1, param1, param2] at org.myba...
2019-04-04 11:30:59
4529
转载 The 'External Type Completiions' proposal computer from the 'org.springsource.ide.eclipse.commons.co
Eclipse 写代码时卡住,报错:“The ‘External Type Completiions’ proposal computer from the ‘org.springsource.ide.eclipse.commons.completions’ plug-in did not complete normally. The extension took too long to retu...
2019-03-01 11:43:09
593
原创 Spark On Yarn kill application
yarn application -list 查询所有的任务然后使用yarn application -kill
2019-02-15 16:24:55
565
原创 Git: fatal: The current branch master has multiple upstream branches, refusing to push
git上直接git push报错Git: fatal: The current branch master has multiple upstream branches, refusing to push解决:使用命令git config remote.origin.push HEAD推送成功!
2019-02-11 16:58:07
1714
原创 MySQL 自动填充createTime和updateTime
1、脚本方式createTime只需要把类型设定为timestamp,默认值为current_timestamp即可,updateTime比createTime多一个ON UPDATE CURRENT_TIMESTAMP即可CREATE TABLE `tbl_hive_hour` ( `id` int(11) NOT NULL AUTO_INCREMENT, `tb_name` va...
2019-01-21 14:35:03
18755
3
转载 HIVE中NULL的两种处理方式
HIVE表中默认将NULL存为\N,可查看表的源文件(hadoop fs -cat或者hadoop fs -text),文件中存储大量\N, 这样造成浪费大量空间。而且用java、python直接进入路径操作源数据时,解析也要注意。另外,hive表的源文件中,默认列分隔符为\001(SOH),行分隔符为\n(目前只支持\n,别的不能用,所以定义时不需要显示声明)。元素间分隔符\002,map中...
2019-01-15 10:47:46
6436
原创 fatal: The current branch master has multiple upstream branches, refusing to puh. git push error!
git push时报错:$ git pushfatal: The current branch master has multiple upstream branches, refusing to puh.措施:输入$ git config remote.origin.push HEAD重新push$ git pushEnumerating objects: 43, done....
2019-01-14 15:23:28
901
原创 记录查询HIVE表的条目数为0,select* 却可以看到数据的异常
一个现象:SELECT * FROM <tbl_name>是有数据的但是SELECT COUNT(*) FROM <tbl_name>结果为 0原因是字段不匹配。需要检查字段名称或者字段个数。
2019-01-10 14:47:46
951
原创 HIVE删除分区表FAILED: Execution Error, return code 1... MetaException(message:Invalid partition key & val
HIVE删除分区表drop table tbl_name时报错:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Invalid partition key & values; keys [year, month, day, ...
2019-01-10 14:44:37
3197
转载 Spark 三种作业提交方式
Local 本地方式:直接在 IDEA 中运行程序,无需打包发布到集群中,方便测试。Standalone 方式:Spark 原生的 Master/Worker 集群,Yarn 方式:Hadoop 的 Yarn 集群,recourseManager/NodeManager 集群,通过 Yarn 来进行资源的和管理调度。本地方式是在本地 JVM 中启动一个进程来模拟运行环境,多个线程进行作业...
2019-01-08 14:52:35
3014
4
原创 HIVE的特点理解及优化
hive:数据仓库非数据库,通过sql处理结构化数据.纯逻辑表,依赖于HDFS,只是壳子框架,不存数据.hive内置:基本类型:String,int,double,bigint复杂类型:array[存储类型一致的数据],map,struct,maphive的数据不适合改,但是可以追加hql语句执行步骤:from-where(and/or)-group-having-select-order...
2019-01-08 14:48:52
932
原创 LINUX 通过SSH免密码登录
设置SSH免登陆即在master机上创建一对公私钥。输入ssh-keygen -t rsa追加到key文件中输入cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys将master 的key给其他slaves上发一份scp ~/.ssh/authorized_keys hadoop2:/root/.ssh/...
2019-01-08 14:47:36
268
原创 GEOHASH 核心原理理解笔记
1.什么是GEOHASHgeohash是 将经纬度转换成字符串的方法.(Z阶曲线的应用,是一种分层的数据结构)GEOHashes提供了任意精度的属性,能从代码末尾删减字符(可以减少精度)地理位置越靠近,前缀越相似.[编码长度为8时,精度为19M左右,编码长度为9时,精度在2M左右.]GEOHash算法的计算是用二分法.递归调用.再计算中,属于左区间就记录0,右区间就记录1.随着算法的进行,...
2019-01-08 14:23:52
607
原创 kafka简单的启动命令
我这里的安装目录是:/home/bigdata/kafka , 节点名称为 localhadoop1进入安装目录后输入bin/kafka-server-start.sh config/server.properties &(后台运行)bin/kafka-server-start.sh config/server.properties (运行)启动生产者模式bin/kafk...
2019-01-08 14:20:20
11325
原创 git进行普通推送和推送失败后对应的版本回退命令
进行普通推送:1、 git add . 提交错误,要回到add提交之前,但需要保留源码: git reset -mixed HEAD2、 git commit -m “注释” 提交错误,要回到commit提交之前,但需要保留add 的内容和源码: git reset -sof...
2019-01-08 14:16:05
613
原创 连接windows和linux
首先在打开虚拟机以后在windows选择:控制面板–>网络和Internet–>网络和共享中心–>更改适配器设置–>选择VMware Network Adapter VMnet1–>属性–>Internet 协议版本4–>选择:使用下面的IP地址并把IP地址改为虚拟机地址如192.168.10.254–>确定,关闭打开虚拟机==》在终端中打开==...
2019-01-08 14:14:14
370
原创 报错:Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty
输入flume-ng version 启动flume时报错Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty,但似乎已经启动. 这时我们可以去hbase中修改hbase-env.sh文件,把配置注释掉一行#Extra Java CLASSPATH elements. Option...
2018-05-22 14:40:32
9556
7
win10 dns修改.bat
2021-02-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人