- 博客(24)
- 收藏
- 关注
原创 Git的配置及GitHub的使用
Git下载地址:https://git-scm.com/downloads GitHub网址:https://github.com/一、Git安装及使用教程推荐阅读:https://blog.csdn.net/qq_41782425/article/details/85183250二、pycharm中的使用1、File->Settings->Version Control->GitHub,在出现的页面右上角选择Auth Type,选择password,然后输入githu..
2020-05-26 19:08:50
459
原创 IDEA常用快捷键
ctrl+R 在当前代码文件中查找Alt+Enter 代码快速修正,导航快捷键ctrl+E 显示最近访问的文件ctrl+N 导航到指定的类ctrl+shift+N 导航到指定的文件或文件夹ctrl+H 显示类的继承关系shift+shift 在整个工程中包括资源文件,库文件等中查找,编...
2018-10-09 19:18:59
149
原创 spark总结
1、代码实现获取接口数据def GetData(url:String):String={ val realURL:URL=new URL(url) //打开和URL之间的连接 val conn:URLConnection=realURL.openConnection //设置通用属性 conn.setRequestProperty("accept","...
2018-07-18 09:42:42
178
原创 shell脚本任务总结
1、查看定时任务crontab -e2、删除文件名含有特殊字符的文件ls -i //查看文件的inode号find ./ -inum 645321 -exec rm -f '{}' \ //找到inode号为12345的文件并执行删除3、sed -n 4,8p file //获取文件中的4-8行4、sed -n 4p file //获取文件中的第4行5、sed -n...
2018-06-06 16:30:27
494
原创 FastDFS分布式文件系统
一、FastDFS介绍1、FastDFS是什么?百度:FastDFS是一个用c语言编写的开源分布式文件系统,对文件进行管理,功能包括:文件存储,文件同步,文件访问(上传,下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站,视频网站等等。个人理解:一个可以管理文件很多操作的东西,考虑负载均衡,冗余备份等机制。2、FastDFS架构FastDFS服务端有两个角色:跟...
2018-05-28 15:04:28
629
原创 Java-------I/O流学习(一)
一、IO结构图二、字符流1、BufferedReader类 Reader操作会导致对底层字符或者字节流进行相应的读取请求,读取时指定具体的类型读取可以减小开销 例如:指定其为FileReader或者InputStreamReader(1)构造方法 BufferedReader(Reader in) //创建一个使用默认大小输入缓冲区的缓冲字符输入流 BufferedR...
2018-05-10 17:13:12
235
转载 kafka实战
转自:点击打开链接1. kafka介绍 1.1. 主要功能根据官网的介绍,ApacheKafka®是一个分布式流媒体平台,它主要有3种功能: 1:It lets you publish and subscribe to streams of records.发布和订阅消息流,这个功能类似于消息队列,这也是kafka归类为消息队列框架的原因 2:It lets you s...
2018-04-11 15:52:54
132
转载 Spark排错与优化
转自:https://blog.csdn.net/lsshlsw/article/details/49155087一. 运维1. Master挂掉,standby重启也失效Master默认使用512M内存,当集群中运行的任务特别多时,就会挂掉,原因是master会读取每个task的event log日志去生成spark ui,内存不足自然会OOM,可以在master的运行日志中看到,通过HA启动的...
2018-04-11 15:00:59
286
转载 zookeeper安装方法
转载链接zookeeper有单机、伪集群、集群三种部署方式,可根据自己对可靠性的需求选择合适的部署方式。下边对这三种部署方式逐一进行讲解。 一、单机安装1.1 下载进入要下载的版本的目录,选择.tar.gz文件下载下载链接:http://archive.apache.org/dist/zookeeper/ 1.2 安装使用tar解压要安装的目录即可,以3.4.5版本为例这里以解压到/usr/mya...
2018-04-10 16:33:03
154
原创 MySQL和Sqlserver
1、查询数据库中的前10条数据SQLSERVER: select top * from table;MYSQL:select * from table limit 10;2、模糊查询(查询字符为‘_’)MySQL:select * from table where table.name like '%_%'SQLSERVER :select * from table where table.nam...
2018-04-02 10:15:23
192
转载 spark dataframe操作集锦(提取前几行,合并,入库等)
转自:点击打开链接spark dataframe派生于RDD类,但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。在实际工作中会遇到这样的情况,主要是会进行两个数据集的筛选、合并,重新入库。首先加载数据集,然后在提取数据集的前几行过程中,才找到limit的函数。而合并就用到union函数,重新入库,就是registerTemple注册成表,再进行写入到HIVE中。不得不赞叹datafra...
2018-03-31 09:28:26
1616
转载 数据库中通配符的使用
转自:http://www.cnblogs.com/goed/archive/2011/11/15/2249985.html
2018-03-08 15:26:50
2445
原创 客户端/服务器-计算
基础知识点: TCP(传输控制协议):确保数据的传输,也确保数据包以它们发送的顺序正确发送。(流套接字) UDP(用户数据报协议):用在IP上标准的,低代价,无连接,主机对主机的协议。(数据套接字) 套接字:两个主机之间连接的端点,用于发送和接收数据。 常出现的异常: java.net.BindException:端口使用冲突 java.net.UnknownHostException...
2018-02-07 17:06:57
1011
原创 主线程和子线程
子线程由主线程或者其他方法创建,线程并发执行,那么怎么让主线程在子线程全部执行完再执行呢?方法1、在关闭接收新线程之后添加判断循环(判断线程池中任务是否全部被终止,是返回true,否返回false)while(!executorService.isTerminated()){}方法2、使用CountDownLatch 该部分可参考:http://www.importnew.
2018-01-26 11:12:46
608
转载 Java中关于HashSet添加自定义对象时,自定义类要重写equals方法和hashCode方法的前世今生...
转自:http://blog.sina.com.cn/s/blog_79164f730102w3jh.htmlJava编程使用HashSet添加对象时,由于要符合Set的特点(没顺序,不重复)所以必须重写equals方法和hashCode方法。第一: Set集合没有顺序,也不允许重复。 为什么要这样:模拟现实的集合。 这里的重复只是:对象的重复 何为对象的重复:指的就是同一个对象。 何为同
2018-01-26 10:51:40
674
转载 centos7安装有道词典
转自:http://blog.csdn.net/qq_21544879/article/details/49824407先给出一种更好的解决方法–文章链接(建议先尝试使用此方法)我的系统是centos7,别的系统也可以参照本文,我的方法就是针对依赖逐个安装,直接搜索这个依赖怎么安装,运行youdao-dict,就会提示你哪个依赖,直接把报错信息复制了去搜索。下载安装包(选择二进制版本)
2018-01-17 17:27:00
5407
原创 冒泡,归并,快速排序
冒泡排序:较小的数值逐渐浮向顶部,较大的数值逐渐沉向底部。具体操作:根据下标比较其值,即,位置1数值和位置2数值比较,数值2>数值1则互换位置,否则继续比较位置2和位置3数值,依次后推。。。代码如下:/*初始数组元素*/int [] arr= {1,2,3,4,5,6,7};/*冒泡排序*/for(int j=0;jlength;j++){ for(int i=0;ile
2018-01-06 10:42:09
199
转载 String,StringBuffer和StringBuilder之间的区别?
*String 字符串常量 StringBuffer 字符串变量(线程安全) StringBuilder 字符串变量(非线程安全)*简要的说, String 类型和 StringBuffer 类型的主要性能区别其实在于 String 是不可变的对象, 因此在每次对 String 类型进行改变的时候其实都等同于生成了一个新的 String 对象,然后将指针指向新的 String 对象,所以经常改变
2018-01-03 14:36:20
126
原创 Java集合架构小练习
运行该程序并输入:hashcodeahahah 将得到结果为:o = [5]h = [0, 3, 9, 11, 13]e = [7]d = [6]s = [2]c = [4]a = [1, 8, 10, 12]程序的运行时间10662ms完整代码import java.util.ArrayList;import java.util.HashMap;import java.util
2017-12-28 11:04:28
149
转载 java集合--Queue用法
作者:sam 出处:http://www.cnblogs.com/samjustin/ 队列是一种特殊的线性表,它只允许在表的前端(front)进行删除操作,而在表的后端(rear)进行插入操作。进行插入操作的端称为队尾,进行删除操作的端称为队头。队列中没有元素时,称为空队列。在队列这种数据结构中,最先插入的元素将是最先被删除的元素;反之最后插入的元素将是最后被删除的元素,因此队列又称为“先进先出”
2017-12-25 18:40:06
159
原创 堆的添加,删除元素
堆是二叉树,可以使用二叉树数据结构表示堆。 特征: 1、它是个完全二叉树 2、它的每个结点都大于等于它的任何孩子结点 对于位置i处的结点,它的左孩子在2×i+1处,右孩子在2×i+2处,其父结点在(i-1)/2处。import java.util.ArrayList;/** * 实现堆的类 * 使用线性数组实现 */public class Heap {
2017-12-25 14:46:46
1139
原创 降序显示前50素数
使用栈降序显示前50个素数(质数)Stack stack=new Stack(); stack.push(2); int i=3; while(stack.size()<51){ boolean bool=false; for(int j=2;j<=Math.sqrt(i);j++){
2017-12-22 15:51:35
375
原创 二叉查找树的构建及遍历
*二叉树:由一个称为根的元素和两棵不同的子二叉树组成。 二叉查找树(没有重复元素)特点:每一个结点左子树中的值都小于该结点的值,右子树中结点的值都大于该结点的值。 完全二叉树:二叉树除了最后一层以外的每一层都是满的,而且最后一层的叶子都是在左边。*二叉树结点的定义 class TreeNode{ Object element; TreeNode left;
2017-12-22 10:32:44
213
原创 修改数据库的编码格式
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-09-21 21:51:54
2432
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人