IT_探的博客

计算机软件相关

自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

爬取电影评论

需求:采集热门电影网站(http://www.datawh.cn)某影片的电影评论 开发工具:Eclipse( Version: Oxygen) 网页结构分析  打开热门电影网站网页http://www.datawh.cn,本文以“战狼2”为例进行剖析(其他影片结构相同,切换url即可)...

2018-12-13 15:24:05

阅读数 160

评论数 0

搭建yarn集群

前提条件:已安装hadoop 修改配置文件 yarn-site.xml          然后复制到每台机器  $PWD 当前目录        修改slaves文件        修改hadoop的slaves文件,列入要启动nodemanager的机器,然后将...

2018-11-02 17:48:45

阅读数 97

评论数 0

深入理解MapReduce

MapReduce理解 MapRedeuce,我们可以把它分开来理解: 映射(Mapping) :对集合里的每个目标应用同一个操作。即,如果你想把表单里每个单元格乘以二,那么把这个函数单独地应用在每个单元格上的操作就属于mapping(这里体现了移动计算而不是移动数据); 化简(Reducin...

2018-11-02 16:52:17

阅读数 80

评论数 0

阿里数据库连接池Druid

欢迎大家使用Druid,常见问题在这里解答,希望对大家有所帮助。 1. Druid是什么? Druid是Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。 2. 在哪里下载druid 正式版本下载: maven中央仓库: http://central.maven....

2018-10-30 13:19:51

阅读数 102

评论数 0

IDEA下使用Maven搭建web项目

工具:IntelliJ IDEA 2017.2.3 技术:springmvc+mybatis+maven 项目地址: https://github.com/freeflyerTang/vms-web-app.git 项目截图: 框架搭建参考博客:https://www.cnbl...

2018-10-26 16:45:47

阅读数 69

评论数 0

OLTP和OLAP

OLTP         On-Line Transaction Processing 联机事务处理         是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。         OLTP 系统强调数据库内存效率,强调内存各种指标的命令率,强调绑定变量,...

2018-10-19 13:51:06

阅读数 39

评论数 0

机架感知(RackAwareness)

一、背景         分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度,并且机架之间机器的网络通信通常受到上层交换机间网络带宽的...

2018-10-19 13:29:56

阅读数 119

评论数 0

HDFS基本命令行操作

1)hdfs的客户端 网页形式->测试用            http://192.168.1.111:50070/dfshealth.html#tab-overview 命令行形式->测试用 企业级API 2)查看帮助      hdfs df...

2018-10-16 14:31:46

阅读数 62

评论数 0

HDFS修改副本位置

vi etc/hadoop/hdfs-site.xml 修改配置文件,新增副本位置配置         <property>                 <name>dfs.namenode.second...

2018-10-15 11:58:36

阅读数 333

评论数 0

HDFS自动批量的启动脚本

修改配置文件slaves(配置集群服务器)            执行命令         start-dfs.sh 启动集群         stop-dfs.sh 停止集群          主机启动之后,发现有一个副本存在,修改副本位置,参考https://b...

2018-10-15 11:24:56

阅读数 149

评论数 0

05-HDFS集群

集群环境配置说明: hdfs111(192.168.1.111)----主机,namenode hdfs112(192.168.1.111)---- datanode hdfs113(192.168.1.111)---- datanode  准备工作   启动虚拟机主机192.168...

2018-10-12 17:21:43

阅读数 33

评论数 0

Linux安装JDK

JDK下载         官网下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html         jdk-8u141-linux-x64.tar.gz网盘下载...

2018-10-12 17:21:16

阅读数 35

评论数 0

Linux配置SSH免密登录

ssh-keygen 生成密钥对 ssh-copy-id 将公钥拷贝到要免登陆的机器上            

2018-10-12 17:02:05

阅读数 31

评论数 0

Linux修改主机名

hostname   查看主机名 永久修改主机名的两种方式 (1)第一种方式           vi /etc/hostname  编辑hostname          reboot      重启生效 (2)第二种方式           hostname set-h...

2018-10-12 16:53:11

阅读数 34

评论数 0

Linux关闭防火墙

防火墙相关命令如下: firewall-cmd --state                  显示centOS7防火墙状态 systemctl stop firewalld         关闭防火墙 systemctl disable firewalld    禁止开机自启动 ...

2018-10-12 16:38:58

阅读数 992

评论数 1

04-Linux常用命令

整理了一些Linux常用基础命令,欢迎指正。 四个热键         首先记住四个热键,学会这四个键,受益一辈子。         Tab        --- 命令补齐功能         Ctrl+c    --- 停掉正在运行的程序         Ctrl+d    --...

2018-10-11 13:13:38

阅读数 30

评论数 0

03-Linux系统目录结构

  # 显示目录下的所有文件 ll 以下是对这些目录的解释: /bin: bin是Binary的缩写, 这个目录存放着最经常使用的命令。 /boot: 这里存放的是启动Linux时使用的一些核心文件,包括一些连接文件以及镜像文件。 /dev : dev是D...

2018-10-10 14:40:41

阅读数 36

评论数 0

02-Linux安装

引言:本文介绍的是通过虚拟机方式安装Linux。 环境: 本机环境:windows 10 64 bit 内存:8GB 1600MHZ CPU:Core i5 7200U  安装VMware Workstation VMware下载:链接: https://pan.baidu.com/...

2018-10-10 13:39:28

阅读数 34

评论数 0

01-Linux简介

Linux介绍          Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。          该操作系统的内核由林纳斯·托瓦兹于1991 年10 月5 日首次发布。         Linu...

2018-10-10 11:10:27

阅读数 38

评论数 0

Java中成员变量、构造方法、代码块执行顺序剖析

今天,测试了一下java中成员变量、构造方法、代码块等的执行顺序,代码如下: package com.carol.entity; /** * @author Carol Tang * @version 1.0.0 * @date 2018-09-13 10:37 * @descrip...

2018-09-13 13:41:57

阅读数 233

评论数 0

提示
确定要删除当前文章?
取消 删除