技术点
汤愈韬
沉默是金
展开
-
Stream AP练习
问题描述:1. 给定一个数字列表,如何返回一个由每个数的平方构成的列表 ?例如: 给定 [1,2,3,4,5] 返回 [1,4,9,16,35]解析: @Test public void test1() { Integer[] nums = new Integer[] {1,2,3,4,5}; Arrays.stream(nums) .map((x) -> x * x) .forEach(原创 2020-12-19 17:13:40 · 367 阅读 · 1 评论 -
Java8新特性_Stream API
系列文章目录文章目录系列文章目录一、了解Stream二、创建Stream三、中间操作3.1 筛选与切片3.1.1 filter(Predicate p) -- 接收Lambda,从流中排除某些元素3.1.2 limit - 截断流,使其元素不超过给定数量3.1.3 skip(n) -- 跳过3.1.4 distinct() 方法去重,需要重新hashCode() 跟 equals() 方法3.2 映射3.2.1 map()3.2.2 flatMap()3.2 排序3.3.1 sorted()3.3.2原创 2020-12-19 10:29:41 · 157 阅读 · 0 评论 -
Java8新特性_方法引用与构造器引用
目录前言一、方法引用1.1 对象::实例方法名1.2 类::静态方法名1.3 类::实例方法名二、构造器引用2.1 无参构造器2.1 一个参数的构造器2.3 连个参数的构造器三、数组引用总结前言一、方法引用方法引用:若Lambda 体中的内容有方法已经实现了,那么我们可以使用"方法引用"可以理解为 方法引用 是Lambda 表达式的另外一种表现形式主要有三种语法格式:对象::实例方法名类::静态方法名类::实例方法名 注意事项:Lambda体中调用方法的参数列表与返回值.原创 2020-12-16 13:34:19 · 383 阅读 · 0 评论 -
Lambda表达式细致文档
系列文章目录提示:Lambda表达式的使用文章目录系列文章目录前言一、为什么使用Lambda表达式二、Lambda表达式入门1.Lambda表达式的基础语法:2.Lambda表达式语法格式2.1 语法格式一 : 接口无参数,无返回值2.2 语法格式二 : 一个无参数,无返回值2.3 语法格式三 : 若只有一个参数,参数的小括号可以省略不写2.4 语法格式四 : 有两个以上的参数,有返回值,并且Lambda体重有多条语句2.5 语法格式五 : 若Lambda体中只有一条语句, ret原创 2020-12-16 09:59:01 · 336 阅读 · 0 评论 -
Hive整合HBase --解决版本冲突
笔者使用的是0.99.2这个版本的hbase.第一步 : 拷贝hbase的jar包到hive需要hbase下面的jar包到hive的lib目录下hbase-client-0.99.2.jarhbase-common-0.99.2.jarhbase-server-0.99.2.jarhbase-common-0.99.2-tests.jarhbase-protocol-0.99.2.j...原创 2018-12-07 17:15:49 · 3105 阅读 · 0 评论 -
HBase安装 - 联邦机制下的hadoop集群
老师的联邦机制的hadoop集群的分布 :master1 : namenode zkfcmaster1ha : namenode zkfc zookeeper journalnode master2: namenode zkfc zookeeper journalnode master2ha: namenode zkfc zookeeper journalnodeh2slave1: no...原创 2018-12-05 11:27:41 · 392 阅读 · 0 评论 -
关于MapReduce程序开发的一些总结
mapreduce在编程的时候,基本上一个固化的模式,没有太多可灵活改变的地方,除了以下几处:1 输入数据接口:InputFormatFileInputFormat(文件类型数据读取的通用抽象类) DBInputFormat (数据库数据读取的通用抽象类)默认使用的实现类是: TextInputFormat job.setInputFormatClass(TextInputFor...转载 2018-12-05 10:00:40 · 210 阅读 · 0 评论 -
Hadoop集群的高可用-HA
HDFS的高可用:需求:我们之前搭建的hadoop集群是一个NameNode和三个DateNode原先那套机制:FSNameSystem 元数据对内存的管理器,里面管理的数据都在内存里面,但是在内存里面的数据不太可靠,所以有一个 fsimage 做持久化操作,更新的操作是在edits里面,当一个客户端做数据的操作的时候,导致元数据要发生变化,先把操作记录在日志里面,如果操作成功了,就再记...原创 2018-12-05 09:31:45 · 2216 阅读 · 0 评论 -
网站用户行为日志采集和后台日志服务器搭建
请看原文 — 我好不容易找到的,作者写得非常好。https://blog.csdn.net/weixin_37490221/article/details/80894827?utm_source=blogxgwz0我就给大家分享一下软件把,这样更方便了,我的软件都是按照原文作者的软件去下载的,都是一致的,所以在安装的时候直接复制原文作者的代码就行了。https://pan.baidu.co...原创 2018-11-28 10:25:48 · 2136 阅读 · 0 评论 -
Hdoop搭建伪分布式
我在使用完全分布式的时候,运行MapReduce程序非常地卡,所以我为了跑MapReduce程序,我又搭建了一个伪分布式的hadoop,我参考了下面几篇博客:https://www.cnblogs.com/zhangyinhua/p/7647686.htmlhttps://blog.csdn.net/thus_/article/details/78397495https://blog.csd...原创 2018-11-30 20:17:25 · 1189 阅读 · 0 评论 -
测试将web日志流文件写入hdfs的配置文件
a1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = spooldira1.sources.r1.spoolDir =/home/hadoop/loga1.sources.r1.fileHeader = truea1.sinks.k1.type = hdfsa1.sinks.k1.channel = c...原创 2018-11-30 18:03:33 · 1296 阅读 · 0 评论 -
有关azkabn调度任务的一些提醒点 -- 我遇到的坑
使用ozkaban调用MapReduce,像我这样的屌丝,穷得一批。没钱买好机器。所以我使用的虚拟机都是最小配置。机器运行MapReduce程序非常卡。我就经常卡死,一卡死又得重启ozkaban服务,非常麻烦。我经常卡死就是我本来有一个job任务,用来调度MapReduce程序的,但是我以为是卡住了,点了立即执行,没反应,然后我就点了好多次,这下惨了,相当于你的机器要运行好多次这个任务。...原创 2018-11-26 16:49:19 · 1319 阅读 · 0 评论 -
azkaban的配置 -- 软件包
下面这个连接里面有azkaban的安装软件,以及配置方法,和使用方式直接下载就行。配置的东西都差不多,我就不写了。https://pan.baidu.com/s/1LkJJu4ww9zdzswV2-l-XiA...原创 2018-11-26 16:37:01 · 105 阅读 · 0 评论 -
Web日志流处理的MapReduce程序 -- 两个(一个使用Collections排序 一个使用MapReduce本身的排序)
我的这两个项目代码地址:Collections排序:https://gitee.com/tanghongping/web_click_mr_hveMapReduce排序:https://gitee.com/tanghongping/MapReduceTest这两个项目里面会有一些车市的代码,可以忽略。使用Collections.sort排序WeblogBeanpackage com...原创 2018-11-29 09:21:13 · 1207 阅读 · 0 评论 -
WEB日志清洗 - java代码
需要从访问日志中梳理出每一个session(如果一个用户两次相邻请求之间的时间差 < 30 min,则该两次请求同属于同一个session,否则分属于不同的session),并且为session的历次请求打上序号模拟日志 :194.237.142.21 - - [18/Sep/2013:06:49:18 +0000] "GET /1.html HTTP/1.1" 304 0 "-" "M.原创 2018-11-25 09:34:31 · 1414 阅读 · 0 评论 -
java.lang.AbstractMethodError: javax.servlet.jsp.JspFactory.getJspApplicationContext(Ljavax/servlet/
我导入云笔记项目的时候,在项目启动的时候,包了这个错,我试着使用下面的方法能够解决问题,而且可以正常启动项目,第一步删除冲突的jar包https://blog.csdn.net/testcs_dn/article/details/39582939删除这两个jar包之后,还是会出现问题va.lang.ClassCastException: org.apache.jasper.el.ELCon...原创 2018-12-07 20:12:24 · 1661 阅读 · 0 评论 -
Java API 操HBase一直不懂
我使用的是单机版本的zookeeper,使用java API操作HBase,需要连接上zookeeper,但是我之前在网上搜的是配置单机本地版的zookeeper,这配置里面,我没太注意,我把端口改成2182,而zookeeper,默认使用的端口是2181,所以我一直一直连不上,使用debug模式调试,会一直卡在创建表 createTable 这一步上,把端口改回来,或者直接删除修改zooke...原创 2018-12-05 16:02:15 · 301 阅读 · 0 评论 -
selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PAT
selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH原创 2019-08-28 09:27:36 · 390 阅读 · 0 评论 -
Storm流之FieldGrouping字段分组
请看原文博客:https://blog.csdn.net/Simon_09010817/article/details/80092080这篇博客写得更加详细https://blog.csdn.net/wangshijie1234567/article/details/48315605原创 2018-12-11 17:53:37 · 1360 阅读 · 0 评论 -
IDEA的使用
我之前学习的时候整理了一些笔记,您可以下载下来参考https://pan.baidu.com/s/1xJ8vZOC8TNQs0wndbcBcsQIDEA的快捷键:https://www.cnblogs.com/wsbxf/p/6103778.html原创 2018-12-11 10:39:36 · 1331 阅读 · 0 评论 -
shell脚本启动与停止storm集群
请参考原文博客:https://blog.csdn.net/fct2001140269/article/details/80879877我已经写好了这些脚本,您直接下载,改一下就可以直接用了。https://pan.baidu.com/s/10_E_Cq0iVaI0pFWIiySvDQ我在写脚本测试的时候出现了问题,解析的博客:https://blog.csdn.net/qq_38200...原创 2018-12-11 10:06:54 · 1465 阅读 · 2 评论 -
ssh连接远程主机执行脚本的环境变量问题
请看原文:https://blog.csdn.net/whitehack/article/details/51705889https://www.cnblogs.com/zhenyuyaodidiao/p/9287497.html解决措施:https://blog.csdn.net/u014449046/article/details/79979640...原创 2018-12-11 09:01:00 · 2275 阅读 · 1 评论 -
CentOS6 Shell脚本/bin/bash^M: bad interpreter错误解决方法
请看作者原文:https://www.cnblogs.com/vijayfly/p/6232427.html原创 2018-12-10 21:41:15 · 1400 阅读 · 0 评论 -
bash中 2>&1 & 的解释
bash中 2>&1 & 的解释请看作者的原文:https://www.cnblogs.com/sos-blue/p/6798810.html原创 2018-12-10 21:16:35 · 1758 阅读 · 0 评论 -
Python在终端通过pip安装好包以后,在Pycharm中依然无法使用的解决办法
Python在终端通过pip安装好包以后,在Pycharm中依然无法使用的解决办法我采用的是第二种方法解决了安装包的问题https://blog.csdn.net/kouyi5627/article/details/80531442...原创 2018-12-21 01:26:08 · 2106 阅读 · 0 评论 -
Python自带的IDLE设置炫丽的颜色
请看作者原文:https://www.cnblogs.com/always-fight/p/9705501.html[Obsidian]definition-foreground = #678CB1error-foreground = #FF0000string-background = #293134keyword-foreground = #93C763normal-foregr...原创 2018-12-14 20:06:30 · 2289 阅读 · 0 评论 -
Redis配置开机启动-配置启动的脚本
参考博客:https://www.cnblogs.com/skyessay/p/6433349.htmlhttp://www.wangsenfeng.com/articles/2016/10/27/1477557394256.html呢个redis_pid只会在开启后台进程的时候才会生成,并且如果是使用kill -9强制杀死redis进程的话,这个redis_6379.pid是不会删除的,只...原创 2018-12-07 11:56:58 · 1587 阅读 · 0 评论 -
Redis集群的搭建
这篇博客非常好:https://blog.whsir.com/post-2693.html这位作者关于ruby2.5版本的安装https://blog.whsir.com/post-2659.htmlrubu的中国的镜像地址的后缀变了:https://blog.csdn.net/w2i0l1l5y/article/details/82662224https://gems.ruby-ch...原创 2018-12-06 20:32:46 · 1065 阅读 · 0 评论 -
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (
某一次我可能没有正常关闭Mysql就直接让机器关机了,造成了MySQL下次都打不来了。先查看进程 ps -A | grep -i mysql如果Mysql进程开启了就把这个进程kill -9 ,然后再启动试试。但我的mysql进程就是没有启动起来我他娘的又看了下面的这几篇博客:https://www.cnblogs.com/adolfmc/p/5875584.htmlhttps...原创 2018-11-26 08:53:27 · 1955 阅读 · 1 评论 -
java如何通过绝对路径和相对路径读取文件
请看源文章https://blog.csdn.net/qq_39629343/article/details/80500820原创 2018-11-24 17:05:48 · 947 阅读 · 0 评论 -
SpringDataRedis操作redis缓存
项目小Demo点击此处 跳转到项目代码或者您可以直接下载该项目:git@gitee.com:tanghongping/SpringDataRedisDemo.git原创 2018-08-23 17:51:43 · 300 阅读 · 0 评论 -
实现单例模式的6种方式(分析+代码)
代码里面有分析 项目里面有一个doc文档 有一些总结点:点击此处跳转到 码云项目或者您可以直接使用git下载项目代码:git@gitee.com:tanghongping/spring-04-singleton.git...原创 2018-08-23 11:44:29 · 297 阅读 · 0 评论 -
Maven编写插件统计项目中一共有多少了.java文件
Maven编写插件统计项目中一共有多少了.java文件需求:编写一个maven插件,安装到仓库里面,可以在另一个工程里面引用这个插件,让这个插件能工统计当前项目中一共有多少个java文件.1.编写maven插件: 新建maven工程(普通的maven工程) 由于要变成maven插件,所以打包方式要改变<packaging>maven-plugin&a原创 2018-08-17 11:49:06 · 820 阅读 · 1 评论 -
解决HibernateTemplate无法根据hql批量删除的问题
点击此处 查看原文转载 2018-08-26 15:36:46 · 258 阅读 · 0 评论 -
HibernateTemplate删除数据小结
点击此处 查看原文转载 2018-08-26 15:35:40 · 431 阅读 · 0 评论 -
hibernate实现批量删除(从前端到后端)
// 批量删除功能的实现 function deleByIds(){ var rows = $('#grid').datagrid('getSelections'); // console.log(rows); var idsSelected=[]; for(i in rows){ idsSelecte...原创 2018-08-26 15:34:32 · 755 阅读 · 0 评论 -
git命令自定义别名
原文链接转载 2018-08-18 12:25:49 · 514 阅读 · 0 评论 -
Idea 上使用Maven上出现的问题
我试着使用maven写插件,结果使用terminal来运行maven命令,发现总是失败,但是使用IDEA自带的maven插件的按钮却能成功运行我纠结了好久,还是没有找到后来突然发现,报错的地方,显示的maven仓库跟我本来要设置的仓库不一样我这才想起来了,原来,我本机使用啦两个maven,我配置的环境变量是另一个maven,另一个maven设置的仓库没有联网在terminal上运行ma...原创 2018-08-14 21:56:50 · 619 阅读 · 0 评论 -
如何使用javaMail发送qq邮件
javaMail:Javamail,顾名思义,提供给开发者处理电子邮件相关的变成编程接口.它是sun公司发布的用啦处理emial的API.它可以方便地执行一些常用的邮件传输.JavaMail API是Sun公司为方便java开发人员在应用程序中实现邮件发送和接收功能而提供的一套标准开发包,它支持一些常用的协议:如SMTP,POP3,IMAP.开发人员使用JavaMail API编写邮件处...原创 2018-06-27 16:49:50 · 998 阅读 · 0 评论 -
PowerDesigner数据建模的简单使用(设计表)
PowerDesinger数据建模的浅谈1.建立新模型 2.选择建立物理数据模型: 可以选择使用的数据库语言3.建立表: 左键点击Table这个图标,移到空白工作区,左键点击,这个一张表的视图就出现在了工作区,再次点击左键,就会再次出现一张表的视图,如果点击右键就会退出新建表视图的模式,重新回到Pointer(选择)模式4.描述表: 4.1双击表,...原创 2018-05-08 13:05:27 · 36322 阅读 · 8 评论