java基础
20boy发愤图强想当功城狮
这个作者很懒,什么都没留下…
展开
-
Wedmagic 网络爬虫
Wedmagic 网络爬虫网页链接:http://webmagic.io/docs/zh/上面是链接 让你知道Wedmagic是什么。你还知道http协议和xpath是什么,怎么用,里面有小案例,可以试一试。http协议http是一个简单的请求-响应协议,它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。请求和响应消息的头以ASCII码形式给出;而消息...原创 2019-11-30 18:55:16 · 239 阅读 · 0 评论 -
Hadoop 实验:分布式缓存
Hadoop 实验:分布式缓存一.概述假定现在有100G的大表和1M的小表,如果是储存在一个盘里,处理和运行就会很慢,假定把100G分别分到10个map,这样1个map就是总量的1/10,加快了处理。用小表中单词在大表中出现次数,也即所谓的“扫描大表,加载小表”。也即分布时缓存。如图:由于这次实验没有100G这么大的表也没有1m的小表只能自己设置一个小表和大表。整个实验步骤为:1....原创 2019-11-27 17:21:59 · 310 阅读 · 0 评论 -
Hadoop 实验:Join 操作
Hadoop 实验:Join 操作一. 实验背景:1.概述我们这次学习是在hadoop中使用MapRedce进行Join的操作时同时耗时,但是由于hadoop的分布式设计理念的特殊性,因此对于join的操作也同样具备一定的特殊性。2. 原理使用 MapReduce 实现 Join 操作有多种实现方式:在 Reduce 端连接为最为常见的模式:Map 端的主要工作:为来自不同表(文...原创 2019-11-27 10:42:49 · 283 阅读 · 1 评论 -
Hadoop 实验:二次排序
一.实验原理MR默认会对键进行排序,然后有的时候我们也有对值进行排序的需要,如果有内存溢出的问题,就用二次排序来进行对值的排序MR计算过程中,而不是单独来做。二次排序就是首先按照第一次字段排序,然后对第一字段相同的行按照第二字段排序,注意不能破坏第一次排序结果。二.实验需要本实验所需外部 jar 文件都可以在实验集群的/home/hadoop/lib.zip 文件中找到,请自行下载。1....原创 2019-11-26 20:35:45 · 399 阅读 · 0 评论 -
Hadoop 实验:计数器
1.MapReduce 计数器是什么?是用于记录job的执行进度和状态的。可以认为是笔记本,记录这数据变化。2.MapReduce计数器能做什么?计数器给我们提供一个数据窗口,展示各种细节数据。对MapRed性能优化的评价都计数器表现出来。计数器是一种收集作业统计信息的有效手段。用于统计质量控制或应用级统计。还可以判断系统出现的问题错误。计数器好比一个日记本,你每天记录一点,有一天返回来看...原创 2019-11-26 16:40:36 · 405 阅读 · 4 评论 -
读写 HDFS 文件
在hadoop hdfs上传下载文件什么是hdfsHDFS(Hadoop Distributed File System)为大数据平台其它所有组件提供了基本的存 储功能。它具有高容错、高可靠、可扩展、高吞吐率等特征,为大数据存储和处理提供 了强大的底层存储架构。 HDFS 是一个主/从(master/slave)体系结构,从最终用户的角度来看,它就像传统 的文件系统,可通过目录路径对文件执行 ...原创 2019-11-23 16:29:45 · 238 阅读 · 0 评论 -
jdbc链接mysql数据库
java 链接Mysql的方法使用(jdbc链接) import java.sql.*; public class Mysql {// MySQL 8.0 以上版本 - JDBC 驱动名及数据库 URLstatic final String JDBC_DRIVER = "com.mysql.cj.jdbc.Driver";static final String DB_URL = "...原创 2019-11-09 18:32:05 · 66 阅读 · 0 评论 -
用java实现银行管理系统效果
银行管理系统 (java实现)1.创建一个封装类(Studentss)import javax.naming.Name;import javax.naming.NamingEnumeration; public class Studentss {//无参public Studentss(){}//有参public Studentss(String name,String...原创 2019-11-08 11:32:30 · 584 阅读 · 1 评论 -
java环境配置
JAVA环境配置首先到官方下载jdkhttp://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html我下载的jdk1.8.25的版本下载的时候选择你电脑的相对系统 是64位就选64位 是32位就行32位一个jre文件在JDK的外部,一个jre文件在JDK内部,这就是所谓的专用JRE和公...原创 2019-11-08 11:05:39 · 102 阅读 · 0 评论