- 博客(39)
- 收藏
- 关注
RSS订阅原创 6.Hadoop IDEA API操作
接上文————>基于hadoop2.7.x centos7.x目录:一.API操作配置1.给idea项目添加hadoop中的jar包2.导入jar包二.Io操作（上传/下载）1.上传2.下载三.其他操作1.获取文件系统2.创建目录3.删除目录4.更改文件名5.查看文件内容6.判断是文件还是目录一.API操作配置项目结构：1.给idea项目添加hadoop中的jar包jar包点击下载2.导入jar包选择hadoop安装包share下的整个hadoop包里面的jar文件全部导入将
2022-05-31 22:45:59
1057
原创 IDEA 快捷键
目录：1.Ctrl 快捷键 介绍2.Alt 快捷键 介绍3.Shift 快捷键 介绍4.Ctrl + Alt 快捷键 介绍5.Ctrl + Shift 快捷键 介绍6.Alt + Shift 快捷键 介绍7.Ctrl + Shift + Alt 快捷键 介绍7.其他 快捷键 介绍1.Ctrl 快捷键 介绍Ctrl + F 在当前文件进行文本查找 （必备）Ctrl + R 在当前文件进行文本替换 （必备）Ctrl + Z 撤销 （必备）Ctrl + Y 删除光标所在行 或 删除选中的行 （必备）C
2022-05-31 17:13:31
71
原创 5.Hadoop Linux命令行操作
接上文————>1.查看可执行参数：hadoop fs2.查看hdfs目录：hadoop fs -ls /3.创建目录：hadoop fs -mkdir /tmp/userzrthadoop fs -ls /tmp/ 查看4.-copyFromLocal：复制本地文件系统到HDFS：创建一个TXT文件vi 1.txt将opt下的1.txt复制到刚才创建的/tmp/userzrt中--hadoop fs -copyFromLocal /opt/1.txt /tmp/us
2022-05-30 18:09:07
779
原创 Centos7 修改IP为静态
目录：1.进入编辑网卡2.修改3.重启网络服务1.进入编辑网卡网卡名字可能不一样，结合自己的网卡名字vi /etc/sysconfig/network-scripts/ifcfg-eno16777728 2.修改修改：将DHCP改为staticBOOTPROTO=static增加：IPADDR=192.168.230.134 要和你的虚拟机在同一个网段NETMASK=255.255.255.0 子网掩码一般为255.255.255.0GATEQAY=192.168.230.2 网
2022-05-29 21:59:39
199
原创 4.Hadoop HBFS连接IDEA
接上文————>目录：一.新建项目，配置Maven二.下载插件：三.连接HDFS四.报错总结：一.新建项目，配置Maven安装Maven 看这里——>这里不在赘述直接选择Maven---->next二.下载插件：file->plugins->marketplace，搜索bigdata tools下载完成重启即可!!!三.连接HDFS点击项目右侧，单击打卡刚才下载的插件，连接HDFS四.报错总结：报错：在 HADOOP_HOME 中找不到本机驱
2022-05-27 10:15:22
659
原创 3.Python 运行工具Jupyter Notebook
接上文————>目录1.安装：2.启动：3.复制下面网址放到浏览器4.创建新项目5.保存运行6.注意事项：1.安装：pip install jupyter notebook2.启动：jupyter notebook3.复制下面网址放到浏览器4.创建新项目5.保存运行6.注意事项：这里不能是中文路径，中文路径无法运行。
2022-05-25 15:45:38
327
原创 2.Python idea创建python新项目步骤
目录：一.file > new > projec二.右击根目录名（总项目名）创建一个新demo三.右击新建的demo，新建一个python package四.右击新建的python package，新建一个python项目五.打开新建的python项目即可敲代码运行。一.file > new > projec按照以下点击二.右击根目录名（总项目名）创建一个新demo三.右击新建的demo，新建一个python package四.右击新建的python pac
2022-05-17 18:10:16
2565
2
原创 1.Python 配置 idea+python
目录：一.配置安装python二.idea配置python一.配置安装python1.下载python包：点击下载2.安装2.默认点击next即可3.选择你想安装的路径，点击install即可4.这里如果出现管理员字样，点击授权即可cmd框输入python -V测试，如下则为成功。如果cmd找不到python，就需要设置环境变量，在path里面加入你安装的python路径即可。二.idea配置python1.File>Settings>Plugins 搜索py
2022-05-13 13:23:15
4328
原创 Java 例子
Java 多个小例子展示1.遍历2.求输入半径圆形的面积3.华氏度转摄氏度4.输入身高体重求身体素质5.输出姓名6.for循环7.求圆形的周长面积8.姓名倒三角9.方法10.继承11.类对象12.其他13.数组14.条件语句if15.finalshell注册码生成16.循环1.遍历public class Person { private String name; private int sex; private int age; public Person() { super();
2022-04-30 10:36:23
966
原创 3.Hadoop Hive服务
接上文—————>搭建Hive环境一.hive 安装/配置二.hive 安装/配置一.hive 安装/配置1.解压下面压缩包tar -xzvf apache-hive-2.1.1-bin.tar.gz2.重命名mv apache-hive-2.1.1-bin hive3.配置环境变量进入文件： vi /etc/profile填入环境变量（注意修改hive位置）：#HIVE export HIVE_HOME=/root/soft/h
2022-04-27 08:22:25
2245
原创 2.Hadoop 配置伪分布式
接上文------>Hadoop配置伪分布式1.修改/root/soft/hadoop/etc/hadoop/core-site.xml2.修改/root/soft/hadoop/etc/hadoop/hdfs-site.xml3.修改/root/soft/hadoop/etc/hadoop/mapred-site.xml.template4.修改/root/soft/hadoop/etc/hadoop/yarn-site.xml5.启动Hadoop6.进行SSH连接7.其他命令1.修改/root
2022-04-26 15:09:17
2323
原创 1.Hadoop Centos7.x安装Hadoop及Java 详细
Centos7.x安装Hadoop及Java 详细一.基础设置二.安装Java三.安装hadoop一.基础设置1.进入centos下的root…目录2.创建目录：mkdir soft 3.上传文件：4.关闭防火墙：systemctl stop firewalld5.设置防火墙不开机自启：systemctl disable firewalld二.安装Java1.进入root账户下的soft目录执行以下安装命令： rpm -ivh jdk-8u91-linux-x64.rpm
2022-04-26 12:08:40
1173
2
原创 HTML 旋转相册小白版
哄女朋友最好的语言1.文档结构，img里面放照片名字改为1.png 2.png依次。2.新建文本文档改名为 index.html，用记事本打开复制以下代码。3.新建文本文档改名为 style.css，用记事本打开复制以下代码。1.文档结构，img里面放照片名字改为1.png 2.png依次。2.新建文本文档改名为 index.html，用记事本打开复制以下代码。<!DOCTYPE html><html> <head> <meta charset="u
2022-04-20 14:38:03
325
原创 2.阿里云 精准营销实践odpscmd数据特征工程
数据特征工程1.SQL脚本1.SQL脚本SELECT tjbm,tjhdbm,fstjsj,spbm,CASE tjzt WHEN 1 THEN 1 ELSE 0 END tjzt,czsj,yhbm,xb,nl,xfdj,smdr,llns,xsns,msyz,zgllcs,zjllcs,zgtjcs,zgtjcgcs,zjtjcs,zjtjcgcs,zggwcs,zjgwcs,zgplcs,zjplcsFROM ${t1} WHERE tjzt IS NOT NULL;........
2022-04-19 14:44:46
159
原创 1.阿里云 精准营销实践odpscmd精准营销数据处理
实验：精准营销数据处理1.创建数据表3.创建推荐分析表3.创建用户行为表4.创建待预测用户信息表5.创建用户信息更新表6.向用户信息更新表中插入数据6.查询导入到用户信息更新表的数据7.创建推荐分析更新表8.向推荐分析更新表中插入数据9.查询导入到推荐分析更新表的数据10.创建用户信息推荐分析宽表11.向用户信息推荐分析宽表中插入数据12.查询导入到用户信息推荐分析宽表的数据1.创建数据表CREATE TABLE yhxx (yhbm STRING COMMENT '用户编码',xb BIGINT
2022-04-18 17:27:24
276
原创 Centos7 基础代码
Linux基础代码(基于Centos7.x)查看主机名 hostname更换主机名 hostnamectl set-hostname (server0.example.com（要更改的主机名）图形界面退出命令：systemctl isolate multi-user.target查看IP地址命令：ping 172.25.0.11远程登录：进入：ssh [email protected]查询模式：lab 01 gwq 保存退出q 退出q! 强制退出创建用户账户gr
2022-04-16 22:31:06
1114
原创 7.阿里云 大数据开发实践odpscmdO2O优惠券使用预测
odps客户端，上传较大文件创建表结构o2o_online_train：create table if not exists o2o_online_train(user_id string comment '用户ID',merchant_id string comment '商户ID',action string comment '行为',coupon_id string comment '优惠券ID',discount_rate string comment '优惠率',date_recei
2022-04-13 21:02:37
925
原创 6.阿里云 大数据开发实践odpscmd餐饮外卖大数据分析
阿里云odpscmd餐饮外卖大数据分析1.res_ads SQL代码块2.res_cdm SQL代码块3.res_ods SQL代码块4.订单属性小时汇总语句5.订单属性日汇总语句6.订单属性月汇总语句7.套餐打分月数据汇总1.res_ads SQL代码块--客户信息实体create table if not exists ods_crm_cust_info_201905 ( oper_date string comment'数据日期',cust_id bigint comment'客户ID',
2022-04-11 19:04:51
226
原创 5.阿里云 大数据开发实践odpscmd电商在线交易分析
阿里云odpscmd电商在线交易分析1.创建在线交易表2.创建用户信息表3.创建结果数据存储表4.创建用户数的汇总表:5.创建交易分析ODPS_SQL节点，双击输入代码：6.创建用户数ODPS_SQL节点，双击输入代码：1.创建在线交易表CREATE TABLE IF NOT EXISTS online_trading( create_time DATETIME COMMENT '时间', good_cate STRING COMMENT '商品种类', brand
2022-04-11 13:42:45
261
原创 4.阿里云 大数据开发实践odpscmd社交好友推荐系统
阿里云odpscmd社交好友推荐系统一级目录FriendMapper.java代码：好友推荐的combiner阶段FriendCombiner.java代码：好友推荐的rdeucer阶段FriendReducer.java代码运行ODPS的MapReduce项目FriendDriver.java代码一级目录FriendMapper.java代码：package com.aliyun.odps.friend; import java.io.IOException; im
2022-04-08 09:31:09
969
原创 3.阿里云 大数据开发实践odpscmd热点店铺搜索案例
这里写目录标题一.创建数据库表创建用户地址数据表：建立poi数据表：创建结果输出表：使用tunnel upload命令将下载好的residence.csv poi.csv文件导入，注意修改自己的文件储存路径。分别查询用户地址数据表residence poi数据表数据。二.创建Java项目GeoHashUtil.java文档DistanceUtil.Java计算地球上两点距离的方法LocationMapper.java实现MapReduce的Map处理逻辑：LocationReducer.java实现Map
2022-04-07 12:51:24
2019
原创 2.阿里云 大数据开发实践odpscmd数据保存到本地和MySQL
关于爬网页数据保存到数据库三、创建电影数据表四、创建Java项目1.RetrivePage.java文件爬取网页和解析网页Java代码2.CrawlDatatoBase.Java文件爬取网页保存到本地和MySQL数据库3.CrawlPage.Java实现爬取逻辑三、创建电影数据表登录MySQLmysql -u root -p创建数据库clawlercreate database clawler;切换数据库 use clawler;CREATE TABLE `film` (`title
2022-04-04 13:25:54
1754
原创 1.阿里云 大数据开发实践centos7安装MySQL连接Navicat
centos7安装MySQL连接Navicat一．基础安装MySQL二、配置MySQLmysqld 0:off 1:off 2:on 3:on 4:on 5:on 6:offcentos7安装MySQL连接Navicat一．基础安装MySQL二、配置MySQLmysqld 0:off 1:off 2:on 3:on 4:on 5:on 6:off一．基础安装MySQL1，安装centos72，安装liunx连接工具CRT3，ifconfig 查看IP地址 管理员用户root连接CRT4，安装My
2022-04-02 17:51:32
1331
原创 Centos7 关于启动时显示Oh no Something has gone wrong.
关于centos7启动时显示Oh no! Something has gone wrong.很简单如下：1.在出现错误界面按 ctrl + alt + F2 进入指令模式。2.输入管理员账号 root 与密码。3.使用指令 yum update -y 更新系统包。4.reboot重启。完美解决！......
2022-04-01 16:59:12
5403
8
原创 阿里云 大数据DataWorks开发套件的相关操作
阿里云大数据DataWorks开发套件第一章第二章第三章第四章第五章第六章第七章第八章第九章测验第一章关于DataWorks开发套件的简介（略）第二章--新建表yxxxCREATE TABLE IF NOT EXISTS yxxx( yxbh STRING COMMENT '院系编号', yxmc STRING COMMENT '院系名称', professionalcode BIGINT COMMENT '专业代码',
2021-12-27 14:54:24
2159
原创 Centos7 青龙面板
Centos7 青龙面板 狗东豆 欢太（2022.4.24更新）一、前期准备 。二、安装宝塔面板。三、安装青龙面板，以及拉各种库。四、安装XDD-PLUS。（机器人）五、其他批注。一、前期准备 。1.购买云服务器 点击购买操作系统选择CentOS 7的最后一个版本就可以。2，下载远程连接工具 FinalShell，[用这个比较方便，选择你电脑合适的电系统本下载就可以] 点击下载3，更改实例密码4，FinalShell 远程连接（1）点击箭头所指白色文件夹，选择SSH连接（Linux）
2021-11-24 17:54:50
31177
52
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人