算法特论学习笔记(1)

学习目标：

随着互联网技术和数据库技术的发展，可以利用各种各样的数据

分析各种数据是必要的

机器学习和数据挖掘是数据分析的有效方法

学习机器学习和数据挖掘中的算法学习

我们会学习到以下内容：

• 概要と導入

– データサイエンスにおける学習アルゴリズム

• 機械学習導入

– 教師あり学習，教師なし学習などの機械学習の概要

• 回帰分析

– 単回帰分析，重回帰分析，リッジ回帰， Lasso 回帰

• 決定木

– CART ， 不純度，ランダムフォレスト，ブースティング

• SVM

– 線形サポートベクターマシン，カーネル関数，多値サポートベクターマシン， 1 クラスサポートベクターマシン

• クラスタリング

– 階層型クラスタリング， K-means 法

• グラフ解析

– グラフ構造，グラフ探索，次数分布，スケールフリーネットワーク

• 深層学習

– 単純パーセプトロン，多層パーセプトロン，確率的勾配法， ReLU 関数

 

首先对于数据科学的背景展开说明，为什么会出现这门课的研究呢？

• 情報通信技術の発達

        •データ分析の需要が増加

• データサイエンス

– 計算技術を活用し，データの収集，統計学や機械学習による分析，意思決定や商品開発までの一連の流れを効果的に処理すること

接下来我们有了数据，需要哪些必要的技能来分析数据呢？

1. データ収集に必要な技能

– ハードウェアやソフトウェアなどのコンピュータ科学の知識

–

2. データ分析に必要な技能

– 統計学，機械学習などの知識

–

3. ビジネスの知識

– EC サイトなどのサービスごとドメイン知識

然后是关于大数据的特点呢，展开说明。

1. 量（ Volume ）

– さまざまな情報通信技術により大量のデータが収集可能

–

2. 速さ（ Velocity ）

– データが速い速度で発生（スマートセンサなど）

–

3. 種類（ Variety ）

– 文書，画像，動画，音声などの様々なデータが利用可能

–

4. 正確さ（ Veracity ）

– 発生するデータを正確に捉えられる（ EC サイトの購入履歴など）

5. 価値（ Value ）

– Volume, Velocity, Variety, Veracity の４つの V を活用して価値を生み出すこと

关于数据的价值是很重要的！

对于数据来讲，只有对上面的4个V正确使用，才能产生价值。

然后说明一下机械学习的作用。

机器学习是人工智能的一个分支

• 人工智能是用来编写智能机器，特别是智能程序的科学和工程
• 人工智能花了几十年以上的时间才能达到人类的水平
• 为人工智能带来巨大性能改善的是机器学习(深度学习等)

 在数据科学中，我们可以自动化处理很多数据， 机器学习是自动处理数据的有力工具，机器学习在数据科学中发挥重要作用，从数据中创造价值。

第一范式
经验科学，解释自然现象的科学(几千年前)

第二范式
理论科学，牛顿定律，麦克斯韦方程等以理论为中心的科学(数百年前)

第三范式
计算科学，通过模拟来预测和再现复杂现象的科学(几十年前)

第四范式

• e-サイエンスまたはデータセントリックサイエンス

(– 理論，実験，シミュレーションを統合)

(– データ検索，データマイニングを用いる)

• マイクロソフトのジム・グレイ博士が提唱

之后就是关于数据的获取了。

• API はアプリケーションプログラミングインターフェースの略称

• API によりウェブを通してソフトウェアを一部公開して他のソフトウェアと機能を共有することができる

• オープンデータは広く活用されることを目的に成形，公開されたデータ

– 各国政府が提供する社会についての統計データ

• e-Stat 政府統計の総合窓口（日本総務省）

• The U.S. Government’s open data （アメリカ）

• Find open data （イギリス）

• データの入手方法

– 調査会社から購入するのは高額すぎる

– 企業の内部にあるデータを一般的に利用するのは困難

– ウェブには大量のデータがあり安価に入手できる