Souane-CSDN博客

原创 Java基础笔记（一）

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例

2022-03-07 17:55:16 254

原创 Java面试笔记（一）

Java面试笔记（一）一、Spring MVC的运行流程1、spring mvc 先将请求发给DispatcherServlet2、DispatcherServlet查询一个或者多个HanderMapping，找到处理请求的Controller3、DispatcherServlet再把请求提交到对应的Controller4、Controller进行业务逻辑处理之后，会返回一个ModelAndView5、DispatcherServlet查询一个或者多个ViewResolver视图解析器，找到Mo

2022-03-07 17:54:48 296

原创【算法学习】线性回归，逻辑回归

【算法学习】线性回归，逻辑回归回归问题的条件/前提：1）收集的数据2）假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。线性回归假设特征和结果都满足线性。即不大于一次方。这个是针对收集的数据而言。收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数，...

2020-09-12 16:53:30 297

原创【操作系统】-128 的原码，反码，补码

什么是原码，反码，补码？正数5: 5的二进制是：00000101 原码：00000101//就是二进制定点表示法，即最高位为符号位，“0”表示正，“1”表示负，其余位表示数值的大小。反码：00000101//负数的反码是对其原码逐位取反，但符号位除外。补码：00000101//负数的补码是在其反码的末位加1。 ----------------------------...

2019-10-11 20:37:20 9214 4

原创【大数据学习之路】SparkSQL学习阶段性总结（二）

【大数据学习之路】SparkSQL学习阶段性总结（二）一、使用Hive数据源1、什么是HiveContextSpark SQL支持对Hive中存储的数据进行读写操作Hive中的数据时，必须创建HiveContext（HiveContext也是已经过时的不推荐使用，额。。。。。还没学好就已经过时了）。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及...

2019-06-21 08:23:05 269

原创【大数据学习之路】SparkSQL学习阶段性总结（一）

【大数据学习之路】SparkSQL学习阶段性总结（一）Spark SQL使用场景1、文件中数据的特殊查询（即席查询；即席查询是可以进行特殊的字段查询自定义的查询；普通查询就是别人已经定义好的查询方式）2、实时SQL分析流数据3、可以进行ETL操作4、与外部数据库的交互5、具有更大集群的可伸缩查询性能Spark SQL加载数据1、直接将数据加载到一个DataFrame中2、将数据加...

2019-06-09 13:08:20 223

原创【大数据学习之路】SparkSQL，mapreduce（大数据离线计算）方向学习（二）

【大数据学习之路】SparkSQL，mapreduce（大数据离线计算）方向学习（二）SparkSql将RDD封装成一个DataFrame对象，这个对象类似于关系型数据库中的表。一、创建DataFrame对象DataFrame就相当于数据库的一张表。它是个只读的表，不能在运算过程再往里加元素。RDD.toDF(“列名”)scala> val rdd = sc.parallelize...

2019-06-02 15:27:36 262

原创【大数据学习之路】SparkSQL，mapreduce（大数据离线计算）方向学习（三）

【大数据学习之路】SparkSQL，mapreduce（大数据离线计算）方向学习（二）

2019-06-02 14:03:28 383

原创【日常踩坑】解决hive运行到kill command这一步之后卡住不动的问题

【日常踩坑】解决hive运行到kill command这一步之后卡住不动的问题如下图，hive提交聚合查询的时候，在这步卡主不动假死，也不报错，log也查不出来，但是当运行像select*from students;这种语句是却能够查询到数据，经过排查，解决思路如下：select * from students 语句没有问题，但一旦执行 select count() from stu...

2019-05-30 16:20:33 3532

原创【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动

【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动今天下午本来打算用Hadoop跑点数据，但当我打开服务时候，发现resourcemanager服务没启动，这就有点难受了，昨天还好好的。。。。。。。。。。。那就格式化一下吧，执行下格式化命令：hdfs namenode -format然后，嗯。。。。。。。。有点尬datanode也死了。。。。。。。...

2019-05-28 17:56:02 3043

原创【大数据学习之路】SparkSQL，mapreduce（大数据离线计算）方向学习（一）

SparkSQL，mapreduce（大数据离线计算）方向学习（一）图片: 带尺寸的图片: 当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。如何插入一段漂亮的代码片去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的代码片.// An highlighted blockvar foo = 'bar';生成一个适合你的列表项目项目项目...

2019-05-28 14:58:01 582

原创【大数据学习之路】本地CDH的安装

CDH的安装此次安装我使用的centos镜像版本为centos7，因为自身电脑配置原因我搭建了一台主机和一台子机。一.网络的配置以及一些小工具的安装1.配置网络：采用Nat方式联网。2. vim /etc/sysconfig/network-scripts/ifcfg-ens33ONBOOT=yesBOOTPROTO=staticIPADDR=192.168.195.11NETM...

2019-05-24 08:19:20 720