![](https://img-blog.csdnimg.cn/53071e770ea14259853d8d8eb118b45a.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
其它
文章平均质量分 82
其它
波波老师
初心易得,始终难守!愿成长的路上不忘初心!
展开
-
Hadoop教程 第五弹 MapReduce工作原理
MapReduce是Hadoop系统中最重要的计算引擎,它不仅直接支持交互式应用、基于程序的应用,而且还是Hive等组件的基础。MapReduce v2(也就是Yarn)则进一步提升了该计算引擎的性能和通用性。在Hadoop平台上,MapReduce框架负责处理并行编程中分布式存储、工作调度、负载均衡、容错及网络通信等复杂工作,把处理过程高度抽象为两个函数:Map和Reduce。Map负责把作业分解成多个任务,Reduce负责把分解后多任务处理的结果汇总起来。原创 2021-05-20 15:03:40 · 1032 阅读 · 0 评论 -
hive建表加载数据
CREATE TABLE IF NOT EXISTS tb_load2(stu_id int , stu_name STRING,stu_date String) row format delimited fields terminated by ',' lines terminated by '\n' //加载本地数据 LOAD DATA LOCAL INPATH '/bigda...原创 2019-08-07 17:53:08 · 335 阅读 · 0 评论 -
Hadoop教程 第二弹 Hadoop概述
1、主要组件及其关系1.1、HDFSHDFS ( Hadoop 分布式文件系统〉源自于Goog le 的GFS 论文, 发表于2003 年10月, H D FS 是GFS 的实现版。HDFS 是H adoop 体系中数据存储管理的基础,它是一个高度容错的系统,能检测和应对硬件故障,在低成本的通用硬件上运行。HDFS 简化了文件的一致性模型,通过流式数据访问,提供高吞吐量应用程序数据访问功能,适合带有大型数据集的应用程序。HDFS 提供一次写入多次读取的机制,数据以块的形式,同时分布存储在集.原创 2020-09-25 22:22:42 · 455 阅读 · 0 评论 -
Hadoop教程 第四弹 HDFS工作原理
1、HDFS客户端1.1、HDFS Shell上传命令:moveFromLocal copyFromLocal put appendToFile下载命令:copyToLocal get其它:ls cat chgrp、chmod、chown mkdir cp、mv 在HDFS中拷贝、移动文件 tail rm、rm -r du 统计文件夹大小信息 setrep 修改副本数量,一台机器最多只能有一个副本比如ls命令,使用方式如下所示。hadoop fs -l原创 2021-05-18 20:27:13 · 309 阅读 · 0 评论 -
Hadoop教程 第三弹 搭建Hadoop环境
1、准备环境1.1、在云环境上搭建国内云市场大概都被阿里云和腾讯云占据了,有条件的可以去官方购买一台或者几台云主机,在云主机上搭建Hadoop比在本地用vmware虚拟机方便得多。步骤如下:设置主机名 将主机名与IP的映射添加到/etc/hosts文件中 关闭防火墙 配置ssh免密登录 安装JDK并配置环境变量 安装Hadoop并配置环境变量1.2、用本地vmware虚拟机搭建跟1.1无太大差别,可能要多一些虚拟机相关的配置,比如虚拟机上网方式、静态IP等。2..原创 2021-05-11 21:30:28 · 520 阅读 · 0 评论 -
Hadoop教程 第一弹 大数据概述
1、大数据基本特征4V:volume 大量velocity 高速:数据是在线的,而不是离线的variety 多样性value 价值2、大数据技术支撑体系一个完整的大数据系统总是由数据采集、数据存储、数据分析(或数据处理与服务)和数据应用四个部分组成大数据支撑体系 大数据应用 监视、拦截、报告、推荐、可视化 大数据分析 识别、分析、模型 大数据存储 获取、变动与整理、分布式存储 大数据采集 数据源、数据位置、数据格式 ...原创 2020-09-25 21:04:31 · 366 阅读 · 0 评论 -
wdatepicker时间限制
<script type="text/javascript" src="./JQuery/jquery-3.3.1.min.js"></script><script type="text/javascript" src="WdatePicker/My97DatePicker/WdatePicker.js"></script></head...原创 2019-04-24 17:19:08 · 972 阅读 · 0 评论 -
详解vue双向绑定原理
1、背景今天要讲的内容是Web前端框架vue.js中的一个细节,注意是细节哦,稍不留神就掉坑里了。由于这两天在公司开发前端vue页面,踩到了一个坑,这个坑不大不小的,但是对于我这种除非公司需要,否则不会主动学习前端技术的后端开发者来说,这个坑困扰了我半天时间。无论怎么修改代码,还是实现不了效果,归根结底还是没有找到问题的点所在。凡事都有好的一面,今天上午脑子就开了光,思路比昨天下午清晰多了,顺着思路,我终于发现了问题的点所在,然后百度一搜,果然是这样,嗨!于是我决定总结一番!大家都知道,vu原创 2020-12-03 13:05:15 · 821 阅读 · 0 评论 -
使用百度地图api搜索两点位置、连线、计算距离、ip定位
现在在企业做web项目时,偶尔会用到地图功能,而当前最流行的无疑是百度地图了,百度地图API为应用开发者提供了强大的功能,以下就介绍关于本人在做项目时关于百度地图的一些实用的功能。1、下面的代码就是我的html文件,开发者要想使用百度地图API,首先要在百度地图开放平台上申请密钥,然后在html文件中引入百度地图的api文件,这样就能正常使用了<!DOCTYPE html>...原创 2018-09-05 20:23:02 · 30489 阅读 · 6 评论 -
HTML select、input radio实用知识总结
1、select下拉框<!-- select元素属性: multiple="multiple" 多选 disabled="disabled" 禁用 --> <select> <option>中国</option> <!-- option元素属性: disabled="disabled" 禁用 selected="s...原创 2018-10-02 15:33:38 · 2083 阅读 · 0 评论 -
dataTables使用入门
1、目录结构2、controller层获取数据package com.asiainfo.group.controller;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import org.springframework.web...原创 2019-11-01 14:23:03 · 431 阅读 · 1 评论 -
js小游戏贪吃蛇
介绍一个由本人制作的贪吃蛇小游戏。这个游戏采用了前端BootStrap框架和jQuery框架,因此移动端和电脑端都能兼容。虽然界面比较简陋,但是基本功能比较齐全,如果有bug欢迎各位能给我提出来,希望大家能喜欢这个小游戏!项目结构:虽然是个动态web项目,但我是用纯前端技术完成的,只是使用的工具是eclipse而已,大家大可放心运行在自己的浏览器上。运行效果注意...原创 2018-04-13 21:03:35 · 598 阅读 · 2 评论 -
textarea在光标后追加内容,并将换行符替换成br标签
<!DOCTYPE html><html><head><meta charset="UTF-8"><title>Insert title here</title><script type="text/javascript" src="jquery-3.3.1.min.js"></script>...原创 2019-12-06 10:52:08 · 1068 阅读 · 0 评论 -
Scala集合的增删改查操作
介绍scala集合体系中数组、列表、set、map、元组的创建、增删改查、遍历、合并等操作。原创 2021-06-07 10:42:47 · 1923 阅读 · 0 评论 -
nodejs运行环境配置并使用puppeteer实现后台截图
下载链接:https://nodejs.org/download/release/可以用v14.1.0版本,亲测有效下载后解压,如果是linux tar.xz格式,可执行tar xz xx.tar.xz解压。原创 2022-09-25 14:49:52 · 1636 阅读 · 0 评论 -
golang速成教程
1、go语言概述go核心编程方向:区块链研发工程师go服务器端/游戏软件工程师go分布式/云计算软件工程师go的优势:数据处理高并发google为什么要创造go语言:硬件技术更新频繁,性能提高很快,现有语言不能合理利用多核多CPU的优势现有语言计算能力不够,处理大并发不够好想兼顾运行速度和开发速度发展简史:2015年,go1.5版本发布,移除了最后残余的c代码2017年,先后发布了go1.8和1.92018年,发布了go1.10版本go的特点:go=c+p原创 2022-01-08 18:56:11 · 2343 阅读 · 0 评论 -
项目接入腾讯云短信服务SMS实现向用户发送手机验证码
早在18年的时候,我就在项目中使用过阿里云的短信服务,现在我上阿里云短信控制台看,还能看到当时创建的短信签名,如下图所示。出于某种原因,我现在想重新申请一个新的签名,却审批失败了,原因是:意思很明确,就是说你必须要有一个上线的应用(公网能访问的),自己个人学习或者做一些线下项目啊都是申请不到短信签名的,之前18年的时候并没有这么严格。目前有两种方案:第一种方案的话需要花钱,自己又只是个人用户,并没有需要上线的项目,所以这里先去腾讯云看看情况吧。经过自己的一番研究之后,发现腾讯云也一样,需要有上线的项目原创 2022-12-03 17:54:27 · 2165 阅读 · 0 评论 -
使用maven-assembly-plugin插件打包
<plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <descriptorRefs> <descriptorRef>jar-with-dependencies</descri...原创 2019-05-08 17:29:31 · 275 阅读 · 0 评论 -
浅谈maven的pom文件格式规范
dependencies即使在子项目中不写该依赖项,那么子项目仍然会从父项目中继承该依赖项(全部继承)dependencyManagement里只是声明依赖,并不实现引入,因此子项目需要显示的声明需要用的依赖。如果不在子项目中声明依赖,是不会从父项目中继承下来的;只有在子项目中写了该依赖项,并且没有指定具体版本,才会从父项目中继承该项,并且version和scope都读取自父pom;另外如果子...原创 2019-06-28 15:45:04 · 612 阅读 · 0 评论 -
eclipse常用快捷键大全
1、查询方法调用:ctrl+alt+h2、打开资源的快捷键CTRL + SHIFT + R 打开所有类型文件,不包括 JAR 包CTRL + SHIFT + T 打开 Java 类型文件,包括 JAR 包3、查找资源的快捷键CTRL + H 全局搜索CTRL + SHIFT + G 快速查找所有引用的地方4、重命名的快捷键CTRL + SHIFT + ...原创 2020-03-03 13:15:03 · 618 阅读 · 0 评论 -
git常用命令与gitignore文件格式
gitignore说明在使用git的过程中,一般我们总会有些文件无需纳入git的管理,也不希望它们总出现在未跟踪文件列表,这些文件通常是日志文件、临时文件、编译产生的中间文件、工具自动生成的文件等等。此时我们可以创建一个名为 .gitignore 的文件,列出要忽略的文件模式,Git会根据这些模式规则来判断是否将文件添加到版本控制中。注意:在windows下可以创建文件名为.gitigno...原创 2020-02-18 17:58:04 · 291 阅读 · 0 评论 -
maven常用命令介绍
【代码】maven常用命令介绍。原创 2019-05-08 15:43:00 · 661 阅读 · 1 评论 -
windows bat脚本知识汇总
//@echo off后面不显示命令@echo off //cd/d D://aa/bb可直接进入d盘 echo 请输入分组名: //接收用户输入set /p group_name= //引用变量echo 您输入的是:%group_name% pause启动多个程序@echo offstart /b /d "D:\development-softw...原创 2019-08-15 15:27:28 · 389 阅读 · 0 评论