- 博客(20)
- 资源 (118)
- 收藏
- 关注
原创 hadoop - hadoop2.6 分布式 - 简单实例学习 - 统计某年的最高温度和按年份将温度从高到底排序
1.背景 哎,学习hadoop不容易啊,各种bug,摸不着头脑,时而管用,时而不知道namenode怎么停止了,确实郁闷!还好,坚持下去了!好了,不说了,开始简单示例 : 1.1 数据格式 : 日期 -空格 - 时间- tab键-温度1949-10-01 14:23:01 34°C1949-05-23 21:23:01 16°C1950-11-21
2016-01-29 17:22:42 2535 4
原创 hadoop - hadoop2.6 分布式 - 集群环境搭建 - Hadoop 2.6 分布式 配置,初始化,启动过程
1.背景 上篇记录了hadoop的核心配置和zookeeper的基本配置,这篇将我的配置记录下,包括启动过程的总结!简单的分布式环境搭建了四遍,也算是懂些了皮毛,总算是可以启动了!我的运行环境这里不在详述。还是声明一点,所有的均是在root用户下完成的!2.Hadoop 配置 2.1 etc/hadoop 目录下 先进入 该目录下 :root@note
2016-01-28 10:35:16 1937
原创 hadoop - hadoop2.6 分布式 - 集群环境搭建 - Hadoop 2.6 分布式安装配置与启动
1.开始 个人配置 : 笔记本(deepin linux ) + vritualBox ( ubuntu ) x 3 说明 : 一定要看 !!! 在上篇 hadoop - hadoop2.6 分布式 - 集群环境搭建 - JDK安装配置和SSH安装配置与免密码登陆(集群中)中 ,配置 SSH免密码登陆,是在各个系统 用户下进行配置的,然而,可以进行
2016-01-26 20:37:31 2390
原创 hadoop - hadoop2.6 分布式 - 集群环境搭建 - JDK安装配置和SSH安装配置与免密码登陆(集群中)
1.背景 我的搭建环境是 自己的笔记本(deepin linux 系统)+ Vriutal Box (3台 ubuntu 系统); 网络配置上篇已经说过了,但是出了点差错,如果需要连接公网下载东西的话,你可以将连接1 (connection1)断开,使用连接2 (connection2 ), 这样就可以下载东西了!
2016-01-24 16:38:31 1832 2
原创 hadoop - hadoop2.6 分布式 - 集群环境搭建 - 系统搭建和网络配置
1.配置 我的搭建环境是 个人笔记本(deepin linux)+ VirtualBox (3个ubuntu linux) ; 宿主计算机 (个人笔记本)配置如下(很低): 虚拟机中的配置一样 : 内存 512M , 磁盘 30G ;
2016-01-24 14:35:11 1067
原创 hadoop - hadoop2.6 伪分布式 - Java API 操作 HDFS
1.环境 hadoop 2.6 hdfs 地址 : hdfs://localhost:9000 开发环境 : eclipse 新建Map/Reduce 工程2.代码示例package cn.labelnet.demo;import java.io.FileInputStream;import java.io.FileNotFoundExcepti
2016-01-22 21:17:46 1366 3
原创 hadoop - hadoop2.6 伪分布式 - eclipse 中 配置 和 示例 wordcount
1.配置eclipse 1.1 下载 linux版的 eclipse 百度云 - 大数据资料专辑 1.2 解压 可以手动提取,也可以命令提取:yuan@LABELNET:~/JAVA$ sudo tar -zxvf eclipse.tar.gz ~/JAVA/ 1.3 运行yuan@LABELNET:~/Java/eclipse$ ./e
2016-01-21 22:08:31 1446
原创 hadoop - hadoop2.6 伪分布式 - 全局配置 和 启用 YARN 进行任务调度与资源管理
1.全局配置 上面的学习中,我们都是先进入到 /usr/local/hadoop 目录中,再执行 sbin/hadoop,实际上等同于运行/usr/local/hadoop/sbin/hadoop。我们可以将 Hadoop 命令的相关目录加入到 PATH 环境变量中,这样就可以直接通过 start-dfs.sh 开启 Hadoop,也可以直接通过 hdfs 访问 H
2016-01-21 21:09:13 2039
原创 hadoop - hadoop2.6 伪分布式 示例 wordcount 分词 和 hdfs常用操作命令
1.背景 上篇已经学习了hadoop伪分布式安装,这篇演示一个例子;更好的理解hdfs 文件系统!2.hdfs 命令操作 说明:我这里hadoop进行了path 变量配置,所以可以使用 hadoop命令,如果你没有配置的话,看下篇文章进行配置或者 进入 hadoop 根目录 ,使用 bin目录下的hadoop 执行 hdfs 操作; 2.1 fs -ls
2016-01-21 20:29:33 1839 1
原创 hadoop - hadoop2.6 伪分布式安装和ssh 安装
1.hadoop基本知识 1.1 特点: 扩容能力:能可靠地存储和处理千兆字节的数据; 成本低:可以通过普通机器组成的服务器来分发以及处理数据,这些服务器群总计可达千个节点。 高效率:通过分发数据,可以在数据所在胡节点一并行胡处理他们,赭石的处理非常快速; 可靠性:hadoop 能自动的维护数据的多份副本,并且在任务失败后能自动的重新部署计算任务;
2016-01-21 17:35:18 1145
转载 爬虫 - 开发网络爬虫应该怎样选择爬虫框架
有些人问,开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的?这里按照我的经验随便扯淡一下:上面说的爬虫,基本可以分3类:1.分布式爬虫:Nutch2.JAVA单机爬虫:Crawler4j、WebMagic、WebCollector3.非JAVA单机爬虫:scrapy第一类:分布式爬虫
2016-01-19 08:56:53 2389
原创 Android - 自定义View 实现 文本吉他谱的 显示 实现
1.背景 难点1 :显示:文本吉他谱是txt ,需要 和弦键与对应的文字对应显示出来; 难点2: 控制:需要通过音量键进行动态的控制,+ ,向下控制当前的和弦键,-,向上控制当前的和弦键;(完成) 难点3: 显示:当前控制的和弦键需要放大和变颜色,和当前行歌词颜色,正常行歌词颜色,均不一样;(完成) 难点4: 控制:通过和弦键来控制整体歌词的滚动;(完成)
2016-01-16 23:42:34 1889
原创 Android - 自定义View 实现 文本吉他谱的 动态控制 实现
1.背景 前天同学推荐,要做一个吉他谱的显示,与控制功能;想了想,感觉难度有些大,主要有几个难点: 难点1 :显示:文本吉他谱是txt ,需要 和弦键与对应的文字对应显示出来; 难点2: 控制:需要通过音量键进行动态的控制,+ ,向下控制当前的和弦键,-,向上控制当前的和弦键;(完成) 难点3: 显示:当前控制的和弦键需要放大和变颜色,和当前行歌词颜色,正
2016-01-14 16:26:40 1407
原创 SpringMvc + Mybatis + Spring - 工程总结 ,基础知识结语篇
结语: 到此为止,大部分的基础知识已经学习完毕了,但并没有学习全面,连cookie操作,图片的上传优化,分页请求实现等都还没有实现。故,在后面需要进行完整的项目实现,在此将Spring+ SpringMvc + Mybatis的工程进行了总结,和配置信息清单的总述; SpringMvc+Spring+Mybatis 总配置 :
2016-01-08 19:33:10 1244
原创 Spring MVC - 拦截器实现 和 用户登陆例子
1.拦截器 SpringMvc中的拦截器实现了HandlerInterceptor接口,通常使用与身份认证,授权和校验,模板视图,统一处理等; public class HanderInterceptor1 implements HandlerInterceptor { @Override public void afterCompletion(HttpServletReque
2016-01-08 16:09:03 42198 17
原创 Spring MVC - 上傳圖片, JSON数据交互 ,RESTful 支持
1.上传图片 springmvc中对多部件(multipart)类型解析,在页面from中提交enctype="multipart/form-data" 的数据时,需要springmvc对multipart类型的数据进行解析; 1.1 在springmvc.xml中配置解析器 org.springframework.web.multipart.commons.
2016-01-08 10:40:45 5801
原创 Spring MVC - 高級參數綁定,服務端校驗,數據回線,異常處理
1.高级参数绑定 1.1 包装类型pojo来接收查询条件参数 分析:页面传参数的特点 :复杂,多样性; 规则:页面 参数和controller方法参数定义: 和 包装类中的属性1一样; 例如: (1) 客户信息包装类 package cn.labelnet.ssm.po;/** * 客户信息包装类 * @autho
2016-01-07 20:13:08 1379
原创 Spring MVC - 开发 Controller的特性与乱码问题
1.回顾 在上一篇中我们演示了一个例子,简单的查询所有客户信息,在这里我们总结如下: 1.1 整合dao层 , mybatis和Spring整合:通过spring管理mapper接口 使用mapper的扫描器自动扫描mapper接口在spring中进行注册; 1.2 整理service层 :通过spring管理servie接
2016-01-07 08:55:52 3561
原创 Spring MVC + Mybatis + Spring - 整合示例1:查询所有的客户信息
1.背景 通过这么长时间的学习,终于见到了效果,确实有点乐不思蜀。虽然下面还有很多东西要学习,但是也要为自己的第一篇整合篇写下一些留念。 数据库:Oracle xe10g 表 : 客户信息表 场景描述:实现查询所有的客户信息; 框架:Spring + Springmvc + Mybatis Spring的作用 :
2016-01-06 08:50:24 13217
原创 Spring MVC - 基本知识 与 非注解/注解方式开发示例
1.感慨一下 元旦刚过,就投入了SpringMvc的学习,很是纠结,自己明明想要进行Android开发,却进行SpringMvc的学习。是为了毕设吗?自己怀疑过自己,不知道自己该做什么,从WinFrom 到 Asp.net Mvc , 从 JDBC 到Android 开发,这么长的时间,不知道自己该做什么,该走什么方向,确实迷茫。。。。 今天早上,想了2个小时,决定走And
2016-01-04 16:18:29 4113 1
onnxruntime-gpu-1.16.0-aarch64 jetson nano 编译
2024-03-11
onnxruntime-gpu-1.16.0-cp38-cp38-linux-aarch64
2024-03-11
onnxruntime-gpu-1.16.0-cp38-cp38-linux-aarch64
2024-03-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人