大数据配置文件
我是丰儿你是沙
学一行,做一行,懂一行,爱一行…
展开
-
如何使用git上传码云
一、新建一个目录,存放下载下来的项目二、进入刚刚新建的文件夹,即进入“gitspace”,点击鼠标右键,选择“git bash here”三、基础配置:1.git config – global user.name“fengze7758”2.git config – global user.email“邮箱”3.克隆:git clone<项目地址>4.把项目移动到新创文件夹...原创 2018-10-11 20:59:37 · 133 阅读 · 0 评论 -
数据分析系统的流程图及架构图
1、大数据平台网站日志分析系统,项目技术架构图:2、大数据平台网站日志分析系统,流程图解析,整体流程如下:ETL即Hive查询的sql;但是,由于本案例的前提是处理海量数据,因而,流程中各环节所使用的技术则跟传统BI完全不同:1)数据采集:定制开发采集程序,或使用开源框架Flume2)数据预处理:定制开发mapreduce程序运行于hadoop集群3)数据仓库技术:基于hadoop...原创 2019-08-19 10:27:03 · 24859 阅读 · 0 评论 -
Windows系统tomcat服务startup.bat开机自动后台启动
一万匹马在奔腾,本机装了tomcat8,再装tomcat9设置为自动启动,程序开了机就报错,memory leak…jdbc没有注册错误,网上都是扯淡回答。附一个百度经验的方法,停了以前服务里面的tomcat8,设置为手动,注册现有tomcat9为自动。完成!...原创 2019-07-18 10:16:08 · 2312 阅读 · 0 评论 -
怎样在不知道端口的情况下,查看服务的端口号
ps -ef | grep 服务名,获取—> pidnestat -nlp | grep pid 获取—> porthttp://ip:port原创 2019-04-04 16:33:41 · 5134 阅读 · 1 评论 -
大数据推荐系统实时架构和离线架构
1、概述推荐系统是大数据中最常见和最容易理解的应用之一,比如说淘宝的猜你喜欢和京东等网站的用户提供个性化的内容。但是不仅仅只有电商会用推荐引擎为用户提供额外的商品,推荐系统也可以被用在其他行业,以及具有不同的应用中使用,如网易云音乐的每日歌曲推荐、活动、产品到约会对象。2、大数据推荐系统架构一般中型的网站(10W的PV以上),每天会产生1G以上Web日志文件。大型或超大型的网站,可能每小时就...原创 2018-11-07 11:48:50 · 5555 阅读 · 0 评论 -
Maven安装及命令的运用
一、所需工具 :Maven是一个构建工具。JDK 1.8Maven 3.3.3Windows 7二、安装1.Path:F:\apache-maven-3.5.3\bin;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;三、测试是否设置好环境变量快捷键win+R或者在开始菜单里单击运行,调出运行对话框,输入cmd调出命令行对话框,输入mvn –...原创 2018-10-08 13:58:11 · 128 阅读 · 0 评论 -
Maven配置文件
一、Maven项目pom配置 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> ...原创 2018-10-09 08:42:13 · 101 阅读 · 0 评论 -
SSH免密登录
第一种方法:1.生成密钥:ssh-keygen -t rsa2.默认位置:cd ~ 主目录有.ssh文件?没有 ll -a(显示隐藏文件)3.进入.ssh:cd .ssh/(公钥id-rsa.pub,私钥id_rsa)4.拷贝id.rsa.pub到B服务器(scp id.rsapub B:/发送的路径eg:opt等)5.B服务器授权列表:加入A的公钥(在主目录进入.ssh文件下创建au...原创 2018-10-09 08:40:58 · 135 阅读 · 0 评论 -
简介、Centos7安装,伪分布式搭建
/字符串查找字符串起始行,终止行s/要替换的字符串/替换的新的字符串/g%指全文、s指开始、g指全局变量,不加全局,光标放在第几行修改的就是第几行Mysql默认端口是3306。主要目录:lib:存放着系统最基本的动态链接共享库。mnt:用来临时挂载文件系统,为某些设备提供默认挂载点。root:系统管理员的主目录lost+found:文件系统损坏后找回的文件存放目录。opt:某第...原创 2018-10-09 08:38:40 · 299 阅读 · 0 评论 -
idea找不到或无法加载主类
浪费了我好长时间查找错误源头,百度终无果,最终解决办法:1.Mark Directory as 给予scala一个Source root(变成蓝色的)2.修改pom.xml配置文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" ...原创 2018-10-15 08:54:03 · 3763 阅读 · 0 评论