17 笔记

块级作用域

<body>
    <script>
        // js两种作用域
        //全局作用域,在函数外面let变量
        //全局作用域,在函数里面let变量
        if (1) {
            let age = 19
            console.log(age);
        }
        for (let i = 0; i < 6; i++) {
             console.log('循环内部;'+i);
       }
           console.log('循环外部;'+i);
     </script>
    
</body>

<body>
    <script>
        //【全局作用域】
        //在代码中任意地方都能访问到的对象拥有全局作用域。
        //(即在全局作用域中定义的变量可以在任何地方使用。)
        //全局作用域在页面打开时创建,在页面关闭时销毁。
        //【情况一:所有未定义直接赋值的变量自动声明为拥有全局作用域】
        function Fun1(){
        a = '未定义直接赋值的变量';
        var b='内层变量'
        }
        Fun1();
        conso1e.log(a);//未定义直接赋值的变量
        console.log(b);//b is not defined
        //注意:如果一个变量在声明的时候没有使用关键字。
        //例如:um=10,此时这个变量无论写在哪里都是全局变量。
        //但是这是非常不规范的,千万不要这么写,否则以后代码可能会出现bug。
         //【情况二:最外层函数和最外层函数外面定义的变量拥有全局作用域】
        var A='最外层变量';//最外层变量
        
        function outFun(){//最外层函数
        var B= '最外层函数的内层变量'
        
        function innnerFun(){//内层函数
        var C= '内层函数的内部变量'
        }
    }
        console.log(A);//最外层变量
        //console.log(B);//B is not defined
        outFun()
        innerfun()//innerfun is not defined
        //console.log(C);//c is not defined
        //【情况三:所有window对象的属性拥有全局变量】
        //在全局作用域中有一个全局对象window,他代表的浏览器的窗口,由浏览器创建。
        //一般情况下,window对象的内置属性都拥有全局作用域,例如window.name、window.location
       </script>
</body>

 作用域链

<body>
    <script> 
    let num =10
    function fn1(){
    let num =20;
    console.log(num);
    function fn2(){
    let num =30;
    console.log(num);
    }
    fn2()
   }
    fn1()
    console.log(num);
    </script>
   
    
</body>

 ·匿名函数

<body>
    <script>
        //【匿名函数】
   //没有函数名的函数。
     //具名函数
    function fn(){
   console.log('999');
    }
   fn()
   //匿名函数
   let fn1 = function(){
   console.log('333');
   }
    //fn1()
   //执行匿名函数:自执行语法
    //自执行语法:(匿名函数)()
    (function (){
      let num = 10
    console.log('111');
     })
    </script>
</body>

 

### 回答1: Spark SQL是Spark中用于处理结构化数据的模块。它提供了一种基于DataFrame和SQL的编程接口,可以方便地进行数据分析和处理。Spark SQL支持多种数据源,包括Hive、JSON、Parquet等,可以通过SQL语句或DataFrame API进行数据查询和操作。Spark SQL还支持用户自定义函数(UDF)和聚合函数(UDAF),可以满足更复杂的数据处理需求。Spark SQL的优势在于它可以与Spark的其他模块无缝集成,如Spark Streaming、MLlib等,可以构建完整的数据处理和分析流程。 ### 回答2: 本篇笔记主要是介绍Spark SQL的基本概念和编程模型。 Spark SQL是面向Spark计算引擎的一种高性能的分布式数据处理技术,它提供一种基本的高度抽象的编程模型,使得开发大规模的数据仓库和数据分析应用变得容易和高效。 Spark SQL最核心的概念就是DataFrames,DataFrame是RDD的超集,提供了更高层次的抽象和对数据的结构化的处理能力,在数据处理的过程中常常会用到一些基本的操作:过滤、选择、聚合、排序等等,而这些操作都可以一步一步地以DataFrame为基础完成。 在使用Spark SQL的过程中,可以通过DataFrame API和Spark SQL语言两种方式进行编程。DataFrame API是Spark SQL提供的一种编程API,它提供了常见的操作,如选择、过滤和聚合等。而Spark SQL语言则是一种基于SQL的编程语言,和传统的SQL查询语言类似,可以通过SQL查询语句来对数据进行查询和操作。Spark SQL可以支持多种数据源,包括JSON、Parquet、ORC、Hive、JDBC等等,因此可以轻松地读取和处理不同类型的数据源。 Spark SQL还提供了高级的功能,如User-Defined Functions(UDFs)、Window Functions和Structured Streaming等等。UDFs允许开发者自定义函数并在Spark SQL中使用,将SQL和代码结合起来,提高了处理数据的灵活性和可扩展性;Window Functions则是一种用来进行滑动窗口操作的函数,常常用于计算数据的局部或全局统计量;Structured Streaming提供了数据流处理的能力,并且实现了端到端的Exactly-Once语义。 总之,Spark SQL提供了很多的功能和便利,特别是在大数据处理和分析领域,它的优势尤为突出。结合Spark的强大计算能力和Spark SQL的抽象编程模型,在大规模的数据分析和仓库方面都具有非常高的可扩展性和灵活性。 ### 回答3: Spark SQL是Spark生态系统中的一个组件,它负责处理结构化数据。它提供了SQL查询和DataFrame API,可以从不同的数据源中读取和处理数据。Spark SQL能够理解SQL语言,这使得开发人员可以使用传统的SQL查询方式来处理数据,同时还可以利用Spark的优势,例如分布式计算和内存缓存。 Spark SQL支持许多不同类型的数据源,包括Hive表、传统的RDD、Parquet文件、JSON文件、CSV文件和JDBC数据源等。Spark SQL可以通过使用数据源API将这些数据源加载到Spark中,然后可以在Spark中处理和查询这些数据。 Spark SQL还支持特定于数据源的优化器和执行引擎,这允许Spark SQL针对不同的数据源执行优化操作。例如,使用Hive数据源时,Spark SQL会使用Hive的元数据来优化查询计划。当使用Parquet文件格式时,Spark SQL会使用Parquet文件中的元数据来优化查询计划。 在Spark SQL中,DataFrame是一种非常重要的概念。它是一种强类型的分布式数据集,可以使用DataFrame API进行操作。DataFrame API是一种更面向数据的API,例如过滤数据、聚合数据等。Spark SQL中的DataFrame可以看作是类似于表的对象,它可以和Spark SQL中的SQL查询混合使用。 除了DataFrame API和SQL查询,Spark SQL还支持UDF(用户自定义函数)。UDF允许用户在SQL查询或DataFrame API中定义自己的函数,以实现更复杂的数据操作。使用UDF时,用户可以使用累加器和广播变量等Spark的分布式计算功能,使得UDF具备高性能和可伸缩性。 总之,Spark SQL是大数据处理领域中一种非常方便和强大的处理结构化数据的工具。它可以方便地与其他Spark组件结合使用,例如Spark Streaming、Spark MLlib等。使用Spark SQL,开发人员可以在不同的数据源之间轻松地查询和转换数据,并利用Spark分布式计算的优势,实现高性能和可伸缩性的数据处理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值