- 博客(100)
- 收藏
- 关注
RSS订阅转载 互联网营销精准决策项目总结
在今天我已经吧互联网营销精准决策项目的所有数据处理和分析的工作都完成了，包括按照范围分类，给表格打标签，设置权重，添加宽表，价格分类分析，销售情况分类分析等 在这几天的开发过程中，自己学到了很多，包括一些hive的使用方式、hql的语法，jdbc对hive的连接，hive的运行体制等，更重要是根据老师给的需求一步步自己探索，让我对数据分析有了一个新的认知，知道了拿到怎样的数据应...
2019-09-11 11:16:00
296
转载 java通过JDBC连接hive数据库
（1）首先在命令框中打开hadoop，（2）然后 cd ～；hive --service hiveserver2 &打开hive连接的权限（3）新建一个java项目，在项目根目录下新建一个lib文件夹，并将mysql的两个包放入，然后右键——》build path——》add to library（由于我已经导入了所以下面的图里没这个选项）由于hive...
2019-09-10 20:46:00
1393
转载 hadoop，hive，spark的关系是什么
今天在开发过程中发现老师给的一个spark实验中大量用到了hive，甚至不用spark也可以完成，于是我就对这两个东西之间的关系去查了一些资料，在这里汇总下参考链接https://blog.csdn.net/qq_36617639/article/details/80324982大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理...
2019-09-10 15:30:00
278
转载 软件工程培训第六天（spark的简单使用和hive的用法）
一、学习过程 今天讲了spark的安装和spark的运行机制，然后老师重点将了下spark中的RDD然后就是我们自己联系word上的实例和例子的时间了二、总结Spark我感觉用一天时远远不够的，老师文档就给我们发了七八个，这一下午也就看完了一个，今天我把RDD的20多个基本的函数看了一遍，然后按照word上的例子进行了总结，感觉RDD就是在用一些别人写好的mapreduc...
2019-09-06 20:48:00
201
转载 Spark-RDD操作（26个常用函数附实例）
（1）进入spark./bin/spark-shell（2）创建RDDval rdd=sc.parallelize(Array(1,2,3,4,5,6,8))或者val rdd1=sc.makeRDD(Array(1,2,3,4,5,6,8))（3）map实例1.作用：返回一个新的RDD，该RDD由每一个输入元素经过...
2019-09-06 16:54:00
1437
转载 软件工程培训第五天（hive进阶）
一、学习过程 今天的将可内容仍然是hive的延伸，老师为我们讲诉了更高级的使用方式，如窗口函数，rank函数等，为我们讲解了一些比较复杂的查询语句，在讲完之后老师为我们留了一些联系和一个大作业。二、总结今天我再一次发现了hive的强大，他的查询语句在某些方面比sql语句更加的强大，更加灵活，可以实现更加复杂的功能，今天学到了hive很多的高级查询方式，如列转行，行转列，c...
2019-09-06 07:53:00
109
转载 hive窗口函数
1．相关函数说明OVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化CURRENTROW：当前行nPRECEDING：往前n行数据nFOLLOWING：往后n行数据UNBOUNDED：起点，UNBOUNDEDPRECEDING表示从前面的起点，UNBOUNDEDFOLLOWING表示到后面的终点LAG(col,n)：往...
2019-09-05 18:05:00
79
转载 hive操作（行转列，列转行）
一、行转列1．相关函数说明CONCAT(stringA/col,stringB/col…)：返回输入字符串连接后的结果，支持任意个输入字符串;CONCAT_WS(separator,str1,str2,...)：它是一个特殊形式的CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是NULL，返回值也将为NULL。这个...
2019-09-05 14:58:00
4087
转载 Hive中使用case then分情况求和
1.数据准备（tab分割不要用空格）悟空 A 男大海 A 男宋宋 B 男凤姐 A 女婷姐 B 女婷婷 B 女2．需求求出不同部门男女各多少人。结果如下：3．新建文件将上述内容写入vi emp_sex.txt4．在hive创建数据表create table emp_s...
2019-09-05 14:27:00
580
转载 hive分组排序（rank函数+partiton实现）
Rank1．函数说明RANK()排序相同时会重复，总数不会变DENSE_RANK()排序相同时会重复，总数会减少ROW_NUMBER()会根据顺序计算2．数据准备（手巧时切记用tab分开，不要用空格，会报错0孙悟空 语文 87孙悟空 数学 95孙悟空 英语 68大海 语文 94大海 数学 56大海...
2019-09-05 13:57:00
351
转载 软件工程培训第四天总结，hive的学习
一、学习过程 今天的主要内容时hive的使用学习，从开始老师为我们讲解了hive的性质和来源以及他的运行流程。然后老师为我们讲了hive的安装，安装成功后老师按照之前发过的文档，逐条的为我们解释hive的使用方式，并为我们讲解例题。二、总结今天我学到hive的使用方式以及一些使用hive查询数据的方法。Hive的本事其实还是基于hadoop的mapreduce的开发的，在...
2019-09-04 19:00:00
96
转载 hive小知识（分区&分桶；内部表&外部表）
（一）内部表&外部表未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定；删...
2019-09-04 16:54:00
202
转载 Hive操作（集合操作，删除表操作）
（一）集合数据类型数据类型描述语法示例STRUCT和c语言中的struct类似，都可以通过“点”符号访问元素内容。例如，如果某个列的数据类型是STRUCT{firstSTRING,lastSTRING},那么第1个元素可以通过字段.first来引用。struct()MAP...
2019-09-04 16:09:00
312
转载 mapreduce序列化操作
1. 需求统计每一个手机号耗费的总上行流量、下行流量、总流量（1）输入数据（2）输入数据格式：7 13560436666 120.196.100.99 1116 954 200 id 手机号码 网络ip 上行流量 下行流量 网络状态码 （3）期望输出数据格式...
2019-09-03 20:53:00
111
转载 软件工程培训第三天总结，hadoop和mapreduce基础（附：hbase，mongodb，redis的区别）...
培训总结（三）（一）学习过程 开始老师先讲诉了大数据的起源和具体应用以及应用的意义。然后老师为我们讲诉了hadoop的安装（虽然这个早就安装了好几遍），在hadoop安装成功后老师带我们做了一个简单的wordcount的例子，让我再一次重温了mapreduce的基础知识，在课程的最后老师给我留了一个综合性较强的习题。（二）总结 今天由于有的同学没有提前配置好环境所以...
2019-09-02 21:33:00
131
转载 java实现HDFS上文件的判断，添加，查询
（一）在eclipse中新建一个java项目，就普通建一个java项目就可以，然后添加hadoop的依赖包（二）打开后选择add Exernal jars添加hadoop的包，包的位置如下（/usr/local/hadoop/是我的hadoop路径）/usr/local/hadoop/share/hadoop/common下所有jar包/usr/local...
2019-09-02 16:49:00
452
转载 软件工程培训第二天总结，maven基础和kettle的简单使用（附kettle控件解释）
培训总结（二）一、学习过程下午老师再一次深入的讲解了maven的使用，并且演示了在maven下的文件的上传和下载的流程，讲老师的实验代码发给了我们让我们练习。晚上另一名老师讲解一些企业工程中的项目开发流程，具体流程如下：数据库设计-》页面原型-》UML建模（astan）-》编码-》测试-》交付-》打包-》反编译测试（先写代码再写校验，正则前台加一次后台加一次）在讲完系...
2019-09-01 19:31:00
381
转载 软件工程培训第一天总结，java基础的复习以及框架的概述（附常用集合及其差别）...
培训总结（一）1、培训内容：第一天的培训主要内容有：（1）复习java基础，如java的类，对象，集合，数组。在老师讲完之后也给我们了一些时间去做一些对应的例题，巩固我们对java的编程能力。（2）讲解代码的规范，老师为了我们讲解了在公司中如何做到代码的规范，在什么位置要用什么样的注释符号，要写什么样的注释内容。（3）降到了一些企业中常用到的web开发框架，如ssm，...
2019-09-01 09:22:00
157
转载 Ubuntu下安装javaee配置jdk和tomcat
（一）下载eclipse for javaee下面是下载地址https://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/2019-06/R/eclipse-jee-2019-06-R-linux-gtk-x86_64.tar.gz（二）解压文件tar -zxf 压缩...
2019-08-30 17:28:00
160
转载 linux下安装jdk和配置环境变量
1.下载jdk，我下载的是tar.gz格式的https://www.oracle.com/technetwork/java/javase/downloads/jdk12-downloads-5295953.html2.将下载好的jdk解压到制定的目录下cd 切换到下载目录tar -zxvf 压缩包名称 -C 解压目录3.编辑环境变量文件vi /etc/profile...
2019-06-05 16:24:00
88
转载 Android更改图标Android Stdio
在开发过程中Android会自动生成一个机器人的图标，但是是真的难看。下面我们看一下Android如何更改默认图标Android会将默认图标放在res下的mipmap目录下，我们将自己的图片复制到这个目录下在AndroidManifest.xml中找到android:icon="@mipmap/myicon"换成我们自己的图片就好了转载于:https://www.c...
2019-06-04 14:18:00
117
转载 java除法保留指定位数的小数
float price=(float) 625.2135; DecimalFormat decimalFormat=new DecimalFormat(".00");//这里有几个0就保留几位，如果小数不足位,会以0补足. String price1=decimalFormat.format(price);//format 返回的是字符串...
2019-06-04 12:33:00
1206
转载 从小白开始学习SpringCloud（四）
这一个博客我们来记录下消费者通过调用生产者的服务来操作数据库１．在生产者的pom.xml中添加对mysql的依赖 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifac...
2019-06-04 00:00:00
77
转载 Android文件下载详解（仿第一行代码）
其实第一行代码的例子我早就学习过了，现在手上一个项目需要使用到这些东西，准备在操作之前复习一下，就顺便发个博客加深一下自己对Android服务和文件下载这一块的理解，博客可能有点长我尽量写的详细一点便于理解。1.首先新建一个Android项目2.添加okhttp依赖，这里我们使用okhttp来访问网络，其实我是习惯使用http的，但是不可否认okhttp很强大depend...
2019-06-02 17:37:00
222
转载 Ubuntu下安装mysql和可视化工具超级简单教程
（1）安装sudo apt-get update//获取最新的软件源sudo apt-get install mysql-server #安装mysql安装完毕后会让设置root的密码（2）启动mysql在安装结束后会自动启动mysql，输入下代码查看是成功启动，显示的内容中mysql节点为LISTEN 表明成功启动sudo ne...
2019-06-01 15:50:00
738
转载 从小白开始学习SpringCloud（三）
我看的博客还是以前那个这次就不付链接了，以为他的博客着一块有问题，弄得我解决了半天，一个菜鸟解决的问题真的时费劲我们来看下消费者的一些进阶（一）使用消费者获取生产者传递的类（1）新建一个spring inistrltr项目这就不多，已经新建好几次了，命名为common用于放类文件，我们不可能在生产者和消费者中都写一个java去放置类文件（当然要是不嫌麻烦也没啥大问题，但是在开...
2019-06-01 11:16:00
84
转载 从小白开始学习SpringCloud（二）
话不多说还是先附上大佬博客：https://blog.csdn.net/springcyb/article/details/89147639这一次我们来记录一下消费者的使用，上面这个博客对于新手来说我觉得不是特别的好，因为按上面操作会遇到很多坑，博主的博客没有问题但是有一些内容没写清楚，要是新手自己脑补会无法调试1.继续在上一次的项目中创建一个spring initialzr项目...
2019-06-01 09:36:00
81
转载 从小白开始学习SpringCloud（一）
首先先附上一个大佬的博客：https://blog.csdn.net/springcyb/article/details/89147639但是大佬博客中又一部分我用不了所以我自己总结了下，建议还是看我的学习（@-@）一：搭建springCloud框架 1.新建一个maven项目删除maven项目下的src文件夹 2.创建maven多模块...
2019-05-31 16:43:00
81
转载 spring cloud 六大核心组件详解
https://blog.csdn.net/qq_42046105/article/details/83793787转载于:https://www.cnblogs.com/837634902why/p/10922133.html
2019-05-25 13:13:00
440
转载 Android实现动态添加控件
xml文件：<?xml version="1.0" encoding="utf-8"?><RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"xmlns:tools="http://schemas.android.com/tools"android:layo...
2019-05-16 15:56:00
478
转载 Android完整的下载实例
1）新建一个dowmloadfile的项目2）在app/build中添加Okhttp的依赖dependencies { compile fileTree(dir: 'libs', include: ['*.jar']) androidTestCompile('com.android.support.test.espresso:espresso-core:2...
2019-05-14 11:10:00
194
转载 Android中EditText中setText方法中文乱码解决方案
今天写项目，需要将字符串添加到EditText空间中，但是发现乱码显示，无论怎么修改编码格式都无法解决，最终将中文写死在xml文件中，在java文件中调用this.getResources().getText(R.string.name)方法然后使用setText方法显示就解决了具体操作如下new -》xml-》value xml file，会新建以下目录在Strin...
2019-05-08 22:03:00
894
转载 Android高级技巧-intent传递对象
一、使用intent传递对象（1）使用serializable接口persion类package com.example.jixujinjie;import java.io.Serializable;/** * Created by 海绵宝宝 on 2019/4/25. */public class Persion implements ...
2019-04-25 23:36:00
211
转载 Android使用json和Http实现与服务器的简单交互
自己学习android与服务器数据交互时，在网上看了很多例子，要么是例子代码太多没耐心看，要么是代码没发全，对于一个白手来说理解起来有困难，所以我在自己成功后决定写一篇博客来讲解android与服务器数据交互。由于刚学，解释很多时我自己的理解，有可能有错误，大家看完后有助于自己的理解就好必要太较真。代码与解释如下：服务器端（jsp+java+tomcat)：（1）servle...
2019-04-21 17:13:00
290
转载 Android可折叠式菜单栏
可折叠式菜单栏（CollapsingToolbarLayout）只能作为AppBarLayout的直接子布局来用，而AppBarLayout又必须是CoordinatorLayout的子布局首先新建新的活动在activity_fruit.xml中<?xml version="1.0" encoding="utf-8"?><android....
2019-03-31 12:02:00
1105
转载 Material卡片式布局+下拉刷新+完整代码
一、Material卡片式布局1》添加库依赖 compile 'com.android.support:recyclerview-v7:24.2.1' compile 'com.android.support:cardview-v7:24.2.1' compile 'com.github.bumptech.glide:glide:3.7.0'...
2019-03-30 21:54:00
159
转载 android悬浮按钮的使用
首先准备一张图片保存在drawable下在activity_main.xml下<?xml version="1.0" encoding="utf-8"?><android.support.v4.widget.DrawerLayout xmlns:android="http://schemas.android.com/apk/res/and...
2019-03-30 17:18:00
688
转载 androidStdio下载与安装以及安装过程问题解释
下载地址https://pan.baidu.com/s/1_avAM3Qjr7E8vUKGVp1Lyw密码an4x这个是windows版本的，一般也用的就是这个版本了安装较为简单，下面记录一些安装时候的问题1》Android Studio启动时出现unable to access android sdk add-on listAndroid Studio First Ru...
2019-03-24 20:07:00
186
转载 html给图片划分区域添加链接
<body><img src="logo.jpg" usemap="#myMap" border="0"/> <map ramo="myMap" id="myMap"> <area shape="circle" coords="32,35,31" href="https://www.cnblogs.com/837634902...
2019-03-21 14:14:00
1051
转载 UI进阶2-滑动菜单
在main.xml中使用DrawerLayout，它允许在布局中放入两个直接子控件，第一个是主屏幕显示内容，第二个是滑动屏幕显示内容<?xml version="1.0" encoding="utf-8"?><android.support.v4.widget.DrawerLayout xmlns:android="http://schemas.a...
2019-03-20 16:57:00
123
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人