![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
其他
文章平均质量分 59
其他知识点
菜鸟周星星
大数据开发攻城狮。更多学习和面试资料尽在微信公众号:Hadoop大数据开发
展开
-
4.30-暨4月下半月错误点、知识点总结
1、字段名可以加特殊符号吗?可以比如字段名是name;crate table tb(`name` string)2、mysql 错误对比插入数据报错:1)需要13个参数,但是query只提供了12个占位符有13个,但数据源只提供了12个字段2)Column count doesn't match value count at row 1列数目和所要插入的值的个数不匹配说白了就是人家有13个字段,但是你多insert into的时候,多给了值或者少给...原创 2021-04-30 18:16:51 · 136 阅读 · 1 评论 -
实战之从阿里云dataworks的maxcomputer中导出数据
背景大数据存储场景:一般有点实力的公司,会自有机房,将自己的内部数据存储在服务器集群当中,而一些前期没考虑机房的公司,会选择将数据存储在公有云上,国内现在比较厉害的有阿里云、华为云、亚马逊云等。今天有个需求,客户公司,他们的数据存储在阿里云上,使用的是MaxCompute(原ODPS)来计算和分析数据。MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务。考虑到直连客户数据库的敏感性和数据的安全性,我们选择直..原创 2021-04-29 18:27:07 · 5060 阅读 · 2 评论 -
ETL-数据同步-实际需求-积分数据同步优化方案
需求:求所有人近30天的总积分变化情况故最终结果表数据(mysql)结构:字段名称 业务含义phone 用户手机号码,唯一主键uid uidpt_1_points 过去第一天积分总数 以今日4.23为例,过去第一天即4.22的积分总数pt_2_points 过去第二天积分总数.....原创 2021-04-28 18:08:10 · 166 阅读 · 0 评论 -
mysql之更新、移除json格式的数据的属性
表schema格式:(uid为主键)uid,name,age,pro数据样式:'100','tom',18,'{"attr1:''湖北省-武汉市"}'mysql中对pro进行添加属性要求实现:对pro添加一个attr2的属性,如果不存在此属性,则添加;如果存在此属性,则更新。事先将pro为null的记录去除掉(无效、垃圾数据)实现语句:insert into student values('100','hgc','28',CONCAT('{"attr2":','"18-.原创 2021-04-26 12:35:55 · 945 阅读 · 0 评论 -
自己学习测试 CRT连接不上虚拟机 重新配置ip地址
物理机更改VMnet8的ip地址 是ipv4的ip地址根据 虚拟机设置的 自动配置的有网段 192.168.158 重点是158 这个是分配的 后面跟每台机器的id不能重复windows 192.168.158.2linux01 192.168.158.3linux02 192.168.158.4linux03 192.168.158.5修改linux的ip地址vi /etc/sysconfig/network-scripts/ifcfg-ens33...原创 2021-03-09 20:10:50 · 1204 阅读 · 0 评论 -
null和任何值进行逻辑运算 其结果仍然是null
select null !=0 结果仍然是null除非 使用 null is null 返回1 null is not null 返回0在使用查询出来的结果 可能为null的情况要考虑进去比如select cal !=0cal的结果包含了null 但是有时候这个null我们是不能将其丢掉的而只使用cal!=0 null !=0 返回的结果仍然是null,并不会返回1 使用它作为条件 将会过滤掉这条数据完整where条件应是 w...原创 2021-02-07 21:40:13 · 1535 阅读 · 0 评论 -
>net start mysql 发生系统错误 5。 拒绝访问。
navicat 连接本地mysql数据库 出现下图所示错误打开本地dos命令行 mysql 发现也报错应该是本地mysql服务没启动启停mysql服务net start/stop mysq发现还报错误,拒绝访问 一般是权限不够,使用管理员身份运行cmd 并启动mysql服务再连接 好了(#^.^#)...原创 2021-02-07 16:01:57 · 303 阅读 · 1 评论 -
flume分布式数据采集工具概述及安装配置、使用
背景我们前面一直在写处理程序、sql去处理数据,大家都知道我们要处理和分析的数据是存在hdfs分布式文件存储系统当中的但这些数据并不是一开始就存储在hdfs当中的,有些数据在业务系统的机器上,有些数据在日志系统的机器上这就要求我们能够将数据从业务系统的机器上给收集过来,而且后面我们实践后续项目时也要求能够对数据进行采集(不然数据从哪来?)比如说我们需要分析用户的行为习惯,通过分析了解用户的喜好等,从而为公司的运营指导方向,对用户进行精准投放广告或者推荐,提高公司产品的转化率再或者通过.原创 2021-01-08 22:06:00 · 473 阅读 · 0 评论 -
CDH之安装步骤_CDH安装笔记_CDH安装小记_详细
CDH相当于一个大的容器,将各种组件很好的协调分配组合在一起,去掉了我们烦躁的配置和安装操作。今天把安装步骤记下来,以后用到的时候来看。1 (修改) 配置文件 vi /etc/selinux/config —> SELINUX=disabled2 安装JDK 配置环境变量rpm -ivhrpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpmvi /etc/profileexport JA...原创 2020-12-10 13:22:26 · 365 阅读 · 0 评论 -
OOP面向对象编程的六大原则(上)
名词解释:OOA:面向对象分析 A:AnalyzeOOD:面向对象设计D:DesignOOP:面向对象编程P:ProgramOOP六大原则(上):对象单一职责、里式替换原则、迪米特法则、开闭原则对象单一职责:我们设计的对象必须职责明确,不能让他成为万能类,这里的对象可以是模块、类库,程序集,不单单指类。1.特点:最常见的。比如分层:Model、业务层、UI层。把具有相同行为的类、放到一个模块,这个...原创 2019-10-19 18:55:41 · 103 阅读 · 0 评论 -
C#中的虚方法,抽象方法,抽象类以及接口
前言众所周知,面向对象三大特点:封装、继承、多态。而今天我们将要学习的都是以多态为基础的,而什么是多态呢?举个不恰当的例子,比如你的对象,今天面对你是一副姿态,明天她给你戴绿帽子又是另一副模样(这个例子是从一个博主那看到的),你的对象还是同一个人,但是可以根据使用的对象来展现不一样的面貌,这,就是多态。简单来说:多态就是在继承的前提下,不同对象调用相同方法却表现出不同的行为。注:本次示例使用VS ...原创 2019-10-23 21:22:10 · 143 阅读 · 0 评论 -
编程编码习惯
1.代码命名要规范。最好为英文。方法命名:首字母大写。比如TestName。变量或者参数命名,首字母小写,如:firstName如下图。类的命名、方法、属性的命名首字母大写。变量、字段、参数(没有成员的)首字母小写。属性不是字段,是类的成员-------方法。类成员包括:字段、属性、方法。属性是一种特殊的方法。2.括号对称,方法体花括号、if、else、等方法体花括号,对齐对称,内嵌错落有致。第二...原创 2019-10-27 12:14:35 · 55 阅读 · 0 评论 -
使用Layui前端框架完成简单的增删改查
1.本文学习 简介使用layui前端框架搭配MVC使用EF Core ORM 快速建模暂不做复杂分层简单增删改查开发环境:Visual Studio 2019、MicroSoft SQL Server 20082. 往期学习文章如何在.NET Core中使用AutoMapper如何养成良好的编程习惯ASP.NET MVC 基础----数据传递优雅的LINQ之美不看这些,你就会慢慢变得毫无竞争力实践...原创 2019-11-14 08:53:49 · 1047 阅读 · 0 评论 -
使用log4net+IExceptionFilter+Server酱完成异常日志信息推送
异常在开发当中总是存在的,开发人员和测试人员不可能24小时,呆在电脑旁边处理异常。而将这些异常要点记录下来形成日志,则是很有必要的,这将有助于我们快速定位解决问题,提高效率,减少人力成本。新建.net core api项目新建API控制器StudentController,更改route规则,新建动作方法ExceptionTest,里面写入一个错误。新建基础设施层类库Util。引入log4net日...原创 2019-12-06 20:54:31 · 108 阅读 · 0 评论 -
认证授权之Identity Server(一)
大家好,我是大成子。疫情无情人有情,希望大家2020年更好!认证和授权几乎是每个项目中都有的知识点,今天学习认证授权框架Identity Server第一节。认证(Authentication)和授权(Authorization)认证即为你是谁,而授权则是你能做什么那先来说说Identity Server。Identity Server4是基于ASP .NET Core的实现OpenId Conn...原创 2020-02-07 22:22:36 · 906 阅读 · 0 评论 -
轻量高效ORM之Dapper篇
大家好,我是大成子。今天学习ORM框架之dapper介绍dapper是一个简单的对象关系映射框架(ORM----Object Relation Mapping),它几乎与原始的http://ADO.NET 数据操作读取一样快(反正我http://ado.net已经忘完了╥__╥,以前用的最多是linq to sql和ef,不需要写sql语句,使用linq操作数据源),它负责数据库与编程语言之间的映...原创 2020-02-27 19:09:33 · 323 阅读 · 0 评论 -
OOP面向对象编程的六大原则(下)
ahh,这个面向对象编程六大原则下篇,我是时隔好久才发出来了的,没办法,人太懒了,emmmmm,一直没来得及写。回顾上篇在上篇中我们学习了六大原则中的:对象单一职责、里式替换原则、迪米特法则、开闭原则对象单一职责:我们设计创建的对象,须职责明确,比如学生类。里面相关的属性和方法都必须是学生的,不能出现教师或者课程相关的内容。这里的类可以是模块(比如这个文件夹下面放的是跟动态配置相关的)、类库(比如...原创 2020-02-28 23:06:40 · 100 阅读 · 0 评论 -
进程与线程(一)
大家好,久违了,我是大成子。前段时间因为疫情,自己有些松散,没有进行学习。现在我们恢复正常学习和文章更新。本次学习将对进程和线程有一个初步的认识,理解其产生的原因,定义,算是开篇的一个理论知识点,后面我们将一步步实践学习。背景知识一个程序要能够在计算机中进行运行,除了程序本身必须是机器可执行的目标代码之外,还要有相应的数据。程序和数据还要提前存储在存储器中,即需要把一定的存储空间分配给这个程序和数...原创 2020-04-09 23:38:04 · 55 阅读 · 0 评论 -
TCP连接建立的三次握手
hello,大家好,最近老大“生动形象”地给俺讲了这个,那么就来look look,它到底是个什么玩意儿。背景知识大家最熟悉的internet是一张巨大的计算机网络。家庭用户端系统构成小型家庭网络,借助电话网络,有线电视网络等接入区域或者本地ISP(服务提供商,Internet Service Provider)。企业网络,校园网等建成一定的局域网,再接入各区域或者本地ISP。区域或本地ISP再与...原创 2020-04-11 00:04:01 · 180 阅读 · 0 评论 -
文件上传和下载+全局异常拦截处理器
大家好,今天写一下文件上传和下载相关的方法。新建一个file控制器,进行file相关的操作。并写入测试方法,看前端api展示效果如何。运行项目如下,选中一个图片上传进行测试:如下图,响应了ok,说明项目api没什么问题。接下来,先进行文件上传方法。本项目框架使用net core3.1,以后所有实践均在此项目下。服务接口层和实现层完善相应方法,并在容器中注入。测试一下,看是否成功:我试了下没有传文件...原创 2020-04-16 23:41:24 · 154 阅读 · 0 评论